概述在数据仓库建设中，特别是在多个开发人员的过程中，经常会遇到以下问题：是不是可以建一个数据仓库平台，把开发流程、规范、标准进行统一管理，基于元数据驱动的自动化、可视化的平台。平台架构...

概述前面讲了基于元数据驱动数据仓库的开发，使数据仓库自动化，可视化。这篇讲用python来实现数仓的自动化开发 ,前提是你已经完成了需求调研和数据剖析，开始进行数据建模。自动化程序的流程如下：由于没有开发前端建模页面，需要把ods、edw、dm层建模元数据导入到元数据库里。把每层的转换查询脚本导入元数据库。把源库表的元数据信息通过python加载到元数据库里。跟据建表模板自动生成...

概述数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。数据质量维度                               ...

概述元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构，操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使数据仓库自动化，可视化。 元数据类型                                                       1.业务元数据 业务元数据指从业务角度描述业务...

概述维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。维度建模优点...

概述架构是数据仓库建设的总体规划，从整体视角描述了解决方案的高层模型，描述了各个子系统的功能以及关系，描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么，架构就是回答怎么做的问题。架构的价值数据仓库架构数据仓库的核心功能从源系统抽取数据，通过...

数字化时代人类历史经历了四次工业革命，随着互联网的兴起，特别是云计算、大数据、移动互联网、人工智能、物联网等科技和产业的发展，人类迈入数字化时代。数字经济是基于新一代信息技术，孕育全新的商业模式和经济活动，并对传统经济进行渗透和转型升级，数字经济不仅是对原有经济体系的补充和融合，更是从底层进行的深刻变革，重塑全球经济愿景。数字经济正在席卷全球，正在成为国家的核心竞争力，全球经济向数字化转型和迁移已