【总结】数据仓库&数据建模方法论
·
数据建模基本步骤:业务建模、领域建模、逻辑建模、物理建模
1.业务建模
业务过程的抽象,对业务流程解耦合,产出业务模型。
2.领域建模
根据业务模型划分主题域,明确边界和范围,产出领域模型。
3.逻辑建模
3.1构建总线矩阵
以一致性维度为行,业务过程为列构建的二维矩阵结构,用于描述维度和事实的关系。
3.2模型分层设计
- ODS、DWD、DWS、DM/APP
- 分层的优点:
- 屏蔽上游业务带来的影响
- 中间层可复用,减少重复计算
- 数据加工标准化,口径易维护
- 明细层与汇总层分离,利于合规管控
- 分层的缺点:
- 延长了取数链路,影响产出时效
- 数据经过加工和清洗,增加了理解成本
- 建模方法固化,灵活性受限
- 分层的优点:
- 设计原则:高内聚低耦合、公共逻辑下沉、数据可回滚、模型可扩展、成本与性能平衡
4.物理建模
表结构的设计,规范化命名、生命周期设置等。
更多推荐
所有评论(0)