数据仓库实施流程

数仓模型设计到实施构建上线的整体流程涉及数据调研、模型设计、模型构建、测试验收、发布应用 五个主要环节,对每个阶段的输出与输入文档进行规范。

数仓实施流程

数据调研

对集团业务体系和数据进行盘点,了解核心业务的数据现状。收集和理解业务方需求,就特定需求的指标口径达成统一,在对需求中涉及到的业务系统或系统模块所承担的功能进行梳理后进行表字段级分析,并对数据进行验证,确保现有数据能够支持业务需求。

模型设计

根据需求和业务调研结果对模型进行初步归类,选择合适的主题域进行模型存放;确定主题后进入数据模型的设计阶段,逻辑模型设计过程要考虑总线结构构建、模型规范定义等关键问题。

模型构建

物理模型设计以逻辑模型为基础,兼顾存储性能等因素对逻辑模型做的物理化的过程,是逻辑模型的最终物理实现.物理模型在一般情况下与逻辑模型保持一致,模型设计完成后需要输出表结构进行需求匹配的验证。 逻辑模型物理化的过程,既可以通过产品平台的模型构建自动生成运行代码和脚本,也可以通过业务流程节点自定义代码开发的形式完成。其中包含了数据映射、计算实现、测试验证等开发过程。

测试验收

单元测试完成后需要通知业务方一起对模型数据进行业务验证,对验证问题做收集,返回验证模型设计的合理性。

发布应用

完成验证后的模型就可以在线上生产环境进行部署,一方面通过数据源的方式接入到数据分析平台进行自助查询和可视化分析,另一方面可以配置API接口服务,提供给业务系统调用。上线后需要为模型配置监控,及时掌握为业务提供数据服务的状况。模型实体和属性说明文档可以发布给数仓数据的使用者,使模型得到更好地应用。

results matching ""

    No results matching ""