数据中台架构
基础设施HDP + 私有云 + k8s/docker存储组件Hadoop/hive/ELK/GP/Tidb/hbase/kudu离线ETLHQL/spark/presto/kettle实时ETLKafka/cdc/flink/spark streamingOLAP分析Kylin/clickhouse/BI数据仓库建模 kimball/inmon建模基于sap / wms / crm; s
·
基础设施
HDP + 私有云 + k8s/docker
存储组件
Hadoop/hive/ELK/GP/Tidb/hbase/kudu
离线ETL
HQL/spark/presto/kettle
实时ETL
Kafka/cdc/flink/spark streaming
OLAP分析
Kylin/clickhouse/BI
数据仓库建模 kimball/inmon建模
基于sap / wms / crm; sap(mm/sd/fico)
流程Ods / dwd/dwm /dws/ops
Kimball: 大量事实表和维度表，包括事务事实表，周期快照表，累积快照事实
Inmon : 企业级数仓，兼顾公司所有业务，ER模型
上层应用
数据治理
功能： 元数据管理，主数据管理，数据质量，数据标准，数据安全
实现方案: atlas，数据治理平台
安全: Ranger/kerberos/SSL/TLS和用户权限管理
监控运维：prometheus+python脚本自动运维
数据分析
BI指标，对比分析，python数据分析，机器学习决策,深度学习预测
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)