【数字化】分享整理-数据中台=大数据平台+数据资产管理平台+数据服务平台
数据中台的功能架构由大数据平台、数据资产管理平台与数据服务平台三大部分组成
导读：数据中台需要采集数据作为原材料进行数据加工、数据建模，然后分门别类地储存，再根据实际的业 务场景,打造各类数据服务（含数据应用平台）从而实现对业务的赋能加速。
目录
1、数据中台的功能架构概览
数据中台的功能架构由大数据平台、数据资产管理平台与数据服务平台三大部分组成，其中在数据服务平台中自助分析平台与标签管理系统的应用场景最为广泛。
2、大数据平台
大数据平台是数据中台的基座，我们也可以把大数据平台称为大数据开发平台，它需要具备与大数据相关的开发能力，提供数据存储、数据清洗/计算、数据查询展示及权限管理等功能。
我们可以发现各公司的大数据平台系统架构其实大同小异，各类架构都包含了：
- 数据采集组件
- 数据存储组件
- 数据计算引擎
- 数据权限与安全组件
- 集群管理与监控组件等。
好用的大数据平台需要拥有为用户解决问题的能力。因此，数据中台的大数据平台建设不是比拼引用了多少新技术、覆盖了多少技术组件，而是要看它能否解决：
- 数据中台建设中所面临的复杂数据现状
- 能否成为数据中台打破数据壁垒的技术保障
- 能否提供简洁有效的数据处理工具，如提供自助配置式的数据采集与数据清洗工具等，以及能否提供更多的附加价值。
价值：数据中台的大数据平台建设，可以避免各事业部技术团队各自搭建大数据集群所带来的资源浪费。统一的、成熟的大数据平台对企业来说，不能一蹴而就，需要循序渐进、分步实施，在持续迭代中构建企业的大数据平台生态。
3、数据资产管理平台
数据资产管理平台主要解决数据资源的管理, 数据资产遍布在各个大数据组件中, 有 hive 的表, 有 hbase 的表, 有 druid 的 datasource, 有 kafka 中的流, 各个组件的管控系统很难互相打通, 所以需要一个统一的数据资产管理服务, 来统筹大数据资源的管理。
随着大数据平台的建设，构建数据中台的数据体系成为可能，通过对各业务线数据的归类整合，我们可以构建出各个数据主题域，完成数据的规范存储，形成数据资产，进而完成数据资产管理。
3.1 元数据
元数据管理包括对元数据增删与编辑管理、版本管理、元数据统计分析与元模型管理。总共分为三类：业务元数据、技术元数据和管理元数据。
3.1.1 业务元数据
描述数据的业务含义、业务规则等，包括业务规则、数据字典以及安全标准等多项内容。通过明确业务元数据，让人们产生统一的数据认知，消除数据歧义，让不懂数据库的业务方读懂数据表的内容。
3.1.2 技术元数据
描述数据源信息、数据流转信息及数据结构化信息，主要服务于数据开发人员，让开发人员明晰数据表结构与所依赖的上下游任务，主要包括库表字段（存储位置、数据库表、字段长度和类型）、数据模型、ETL脚本（调度信息）与SQL脚本等。
3.1.3 管理元数据
描述数据的管理归属信息，包括业务归属、系统归属、运维归属以及数据权限归属等信息，是数据安全管理的基础。
价值：元数据记录了数据从无到有的全过程，就像一本有关数据的“字典”，让我们可以查询到每一个字段的含义与出处，同时它又像是一张“地图”，让我们可以追溯数据产生的路径。数据中台的元数据汇聚了企业各业务线与各系统的数据信息，让数据中台具备了提供全域数据资产视图的能力，实现了统一数据资产查询与获取入口的目标。
3.2 数据模型管理
数据模型是数据整合的有效手段，它完成了各数据源之间的映射关系设计，为数据主题建设提供了“实施图纸”。在数据建模过程中，通过明确数据标准，可以确保数据的一致性，还可以消化冗余数据。
价值：数据建模过程中，通过既定的数据模型管理制度，实现对数据模型增、删、改、查的管理，同时遵守数据标准化与数据统一化的要求，确保数据质量。
4、 数据服务平台
4.1 自助分析平台
商业智能平台（BI平台），BI 平台是数据中台服务能力的主要输出方，要想让数据中台发挥出应有价值，那么BI平台的建设必不可少，所以需要将BI 平台建设划分在数据中台体系下。综合来看，BI平台应该具备如下能力。
4.1.1 数据接入
- 文件型：支持Excel等文件数据的上传。
- 数据连接型：支持Mysql、Oracle等数据库，以及Hadoop、Spark等大数据平台（数据中台的大数据平台也在此列）。
- API读取：支持通过API获取第三方系统数据。
4.1.2 数据处理
BI 平台需要能为用户提供数据建模工具，帮助用户创建目标数据（数据集），其提供的功能包括：
- 拖拽表字段
- 自动识别维度/指标
- 自定义视图语句
- 预览数据
- 设置虚拟字段
- 函数计算
- 设置参数等基本操作
- 多源异构的 JOIN/UNION等数据处理功能
4.1.3 数据分析与可视化
BI 平台还需要为用户提供丰富的图表制作和联机分析处理（OLAP）操作，让用户在前端页面完成数据分析与数据可视化等工作。
4.1.4 内容分发与基础服务
BI平台需要具备分发可视化内容，并进行查看权限与数据权限控制的能力。主要的分发方式包括：
- BI平台
- 移动BI（App）
- 数据大屏
- 邮件
- 链接访问
- 以及第三方嵌入等方式。
同时BI平台还需要具备基础的运营管理、角色管理、帮助中心与消息推送等功能。
只有满足以上功能、具备了多维分析、数据可视化与数据大屏等服务能力的BI平台，才可以最大限度的发挥在数据中台体系中的价值，有效地帮助分析师与运营团队提升工作效率。
4.2 标签管理系统
业务部门面临着大量的精准营销场景，这些千人千面的推荐、推送需要基于一个完善且准确的用户画像来实现，而用户画像的构成又需要由大量、全面的用户标签来支撑。
标签数据作为个性化业务应用的基础数据，其可信度与有效性就成了衡量用户画像成熟度的关键指标。
数据中台的标签管理系统，主要具备以下功能。
4.2.1 用户唯一性识别
数据中台的标签管理体系，可以提供统一的用户识别服务，将各业务线的独立用户标识进行关联和统一，从而打通面向整个企业的独立用户识别和标签交互转换方案。
4.2.2 标签体系管理
标签体系管理的主要工作是制订标签数据和信息交互方案，打通用户画像研发和服务中的信息及数据壁垒，提供标签接入、可视化标签信息展现、可视化标签权限控制、可视化用户标签分析、可视化人群定向提取与可视化相似人群扩展（Lookalike）等功能。
4.2.3 标签数据服务
标签管理系统，需要提供用户画像研发和应用过程中涉及的标签提取与查询等服务，以标准化服务接口（API）的方式将相关解决方案提供给各业务方，支持业务方基于数据中台的能力，打造业务线的个性化服务。
核心内容整理自：数据中台=大数据平台+数据资产管理平台+数据服务平台
助力广东及东莞地区开发者，代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展，成为松山湖开发者首选的工作与学习平台
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)