大数据之数据治理
·
一，为什么要进行数据治理
随着大数据技术的逐渐普及，越来越多的公司搭建了数据仓库、实时数仓、数据湖等等相关大数据项目。但由于各企业各个系统平台数据源复杂，企业组织结构复杂，前后期数据口径不统一等等问题，最终造成：
| 数据问题 | 说明 |
| 数据质量低 | 数据错误，不准确或者不一致，导致数据决策不可靠 |
| 数据孤岛 | 各部门之间的数据得不到有效整合 |
| 数据安全 | 缺乏有效的数据保护措施，导致敏感数据泄露 |
| 数据规范 | 缺乏统一的数据规范，增加数据的理解难度，降低使用率 |
| 数据理解歧义 | 同名不同义，同义不同名 |
这些问题会导致：
难以支持创新：由于数据质量，一致性和安全性问题，企业难以利用数据驱动创新和提高竞争力。
难以实现数据驱动：在没有良好的数据治理下，企业难以实现数据决策，市场的有效分析和产品开发。
用户体验受损：数据问题可能给用户带来负面体验，影响客户满意度。
二，什么是数据治理
数据治理是一种系统化的方法，可以有效管理企业中数据的质量，一致性，安全性和完整性。帮助企业有效的组织收集、存储、访问和利用数据。
| 数据治理方向 | 说明 |
| 数据质量 | 确保数据的准确性，一致性和可用性，降低错误和冗余 |
| 数据规范 | 统一数据标准规范，提高沟通效率和数据利用价值 |
| 数据安全 | 设定数据访问权限，防止未经授权的访问和泄露 |
| 数据完整性 | 维护数据的完整性，确保不受损坏和误操作影响 |
| 数据策略和流程 | 制定和执行数据治理策略，明确数据所有权和责任 |
数据治理不是一次性的项目，而是一种长效的组织职责和文化建设
三，如何进行数据治理
数据治理分为事前治理和事后治理。事前治理是在数据创建和使用之前就明确好数据的格式，规范。事后治理是在发生之后，确定数据的创建，执行情况有没有问题。
以下使用的是事后治理方向，使用的方式是考评方式。考评方式就是将问题量化，类似与电脑健康扫描，列出各个指标，基于每个指标进行打分，给出总评。
以离线数仓为基础，基于元数据管理，扫描数据处理的全流程，列出各项的指标，可以将指标分为5大类：
| 指标大类 | 具体指标 |
|---|---|
| 规范 | 是否有业务负责人 |
| 表的名字是否合规 | |
| 表是否有备注 | |
|
表字段是否有备注 | |
| ...... | |
| 存储 | 是否有空表 |
| 是否有相似表 | |
| 生命周期是否合理 | |
| ...... | |
| 计算 | 是否长期无产出 |
| 是否长期无访问 | |
| 计算中是否存在数据倾斜 | |
| ...... | |
| 质量 | 数据质量监控 |
| 数据时效监控 | |
| ...... | |
| 安全 | 是否明确安全等级 |
| 文件访问权限是否超出建议值 | |
| ...... |
我们可以基于以上的指标来判定数据采集，存储，计算，产出全流程的情况，基于指标情况查看数据流程中是否存在问题，如果存在问题，可以及时改进。
以及对不同的指标设定不同的权重分配，例如：安全类一票否决，计算倾斜权重最高。
更多推荐
6
0- 0
已为社区贡献9条内容
所有评论(0)