这篇文章资料来自于网络，是对部分知识整理，这里只是记录一下，仅供参考。

主流的大数据技术栈划分（2025 年通用结构）

功能层次（模块职责） 划分结构如下：

1. 数据采集（Ingestion）

2. 数据存储（Storage）

3. 数据计算（Compute）

4. 数据查询 & 分析（Query & OLAP）

5. 数据开发 & 调度（Workflow / Pipeline）

6. 数据可视化 & BI（Visualization & BI）

---

✅ 1. 数据采集（Ingestion）

负责数据源到大数据平台的“采集和导入”：

类型	常用组件
实时采集	Kafka, Flume, Logstash, Pulsar
批量采集	Sqoop（从 RDB 导入）、DataX、Nifi、SeaTunnel
结构化→湖	AWS DMS、Flink CDC、Debezium（MySQL binlog）

---

✅ 2. 数据存储（Storage）

用于大规模、低成本、可扩展的数据存储：

类型	技术	说明
分布式文件系统	HDFS, S3, OSS, GCS	底层存储，多用于数据湖
列式存储	Parquet, ORC, Avro	适合分析型场景
NoSQL 存储	HBase, Cassandra, MongoDB	适合高并发读写，随机访问
数据湖存储	Apache Iceberg, Delta Lake, Hudi	新一代数据湖元数据管理层
元数据 & 数据目录	Hive Metastore, AWS Glue Catalog	提供 schema、表管理功能

---

✅ 3. 数据计算（Compute）

核心计算引擎，分为 批处理、流处理、湖仓一体计算 等：

类型	代表组件	说明
批处理	Spark,FlinkBatch,MapReduce	大规模数据 ETL、训练、离线分析
流处理	Flink, Kafka Streams	实时数据处理，低延迟
湖仓计算	Trino, Presto, StarRocks（外表方式）	计算与存储解耦，对接湖或仓

---

✅ 4. 数据查询 & OLAP（Query & OLAP）

面向分析、指标、BI 查询：

类型	系统	特点
MPP 数据仓库	StarRocks, Doris, ClickHouse, Greenplum	面向大宽表、聚合指标、秒级响应
SQL-on-Lake	Trino, Athena, Presto, Hive SQL	基于 HDFS/S3 数据湖执行 SQL
日志分析	Elasticsearch, OpenSearch	用于日志检索、指标分析

---

✅ 5. 数据开发调度（Orchestration）

用于任务编排、定时运行、依赖管理：

类型	系统
DAG 调度	Airflow, DolphinScheduler, Azkaban
数据开发平台	Kettle、DataSphere Studio、Linkis
实时运维平台	Flink Dashboard、StarRocks FE Console

---

✅ 6. 数据可视化 & BI（Visualization）

为终端用户提供看板、图表、OLAP 分析功能：

系统	特点
Superset	开源 BI，支持 StarRocks、Trino 等
Tableau / PowerBI	商业级 BI 工具
FineBI、帆软	国内主流可视化工具

---

✅ 7. 数据流转图（简化版）

数据源
  ↓
采集层（Kafka / Flume / DataX）
  ↓
存储层（HDFS / HBase / Iceberg / Hive）
  ↓
计算层（Flink / Spark / Trino）
  ↓
查询层（StarRocks / Doris / Presto）
  ↓
分析层（Superset / Tableau / 自研看板）

---

✅ 8.数据流转模块：

采存算查调展
即：

• 采：Kafka / DataX
• 存：HDFS / HBase / Iceberg
• 算：Flink / Spark
• 查：StarRocks/ Doris / Trino
• 调：Airflow / DolphinScheduler
• 展：Superset / Tableau

---

✅ 9.常规分层设计

源系统 → 落地层(Raw) 
            ↓（直接存储数据,将不同数据源的数据汇聚一起）
       操作数据层 ODS  【范式建模】
            ↓（业务转换,数据合并，数据清洗（统一枚举值，填充null值，清晰非法值等）保证数据质量）
       明细层 DWD  【范式建模】
            ↓（聚合汇总【对通用维度数据进行简单聚合，方便复用】）
       汇总层 DWM  【维度建模】
            ↓（按照主题业务组织宽表,用于olap分析）
       数据服务层 DWS 【维度建模】
            ↓（格式/接口定制）
       数据集市DM 【维度建模】（基于多张宽表形成某主题的报表数据） → BI/APP/API

📘 大数据常用组件（涵盖 9 大类）

名词/缩写	全称 / 类别	简明解释
HDFS	Hadoop Distributed File System（存储）	分布式文件系统，是 Hadoop 核心组成部分，负责将大文件切分后分布存储于多台服务器上，具备容错与高可用特性。
MapReduce	计算模型（批处理）	Hadoop 提出的编程模型，将计算分成 Map（映射）与 Reduce（归约）两个阶段，适合大规模离线计算。
YARN	Yet Another Resource Negotiator（资源管理）	Hadoop 的资源调度系统，负责协调不同作业间对计算资源的使用。
Hive	SQL-on-Hadoop（数据仓库）	构建在 Hadoop 之上的数据仓库系统，允许通过类 SQL 的方式（HiveQL）对 HDFS 上的数据进行查询分析。
HBase	NoSQL 数据库	构建在 HDFS 上的分布式、面向列的 NoSQL 数据库，适用于实时读写与大规模数据存储。
Spark	通用计算引擎（批 + 流）	高性能的内存计算引擎，支持批处理、流处理、机器学习等，替代 MapReduce 成为主流计算框架。
Flink	实时流计算框架	面向事件的高吞吐低延迟计算框架，支持有状态流处理，适合构建实时数据处理系统。
Kafka	分布式消息队列（流）	高吞吐、可持久化的发布/订阅消息系统，广泛用于日志采集、实时数据流传输。
Zookeeper	协调服务	分布式协调服务，常用于 Kafka、HBase、Flink 等组件进行配置管理、主节点选举等。
Presto / Trino	分布式 SQL 查询引擎	支持跨数据源高速 SQL 查询，广泛用于对 HDFS、S3、Hive 等数据湖仓数据执行交互式分析。
Airflow	调度系统（DAG 编排）	Python 编写的数据工作流调度器，用于执行定时任务和依赖管理，如 ETL 流程。
Oozie	Hadoop 工作流调度器	早期 Hadoop 系统中的调度工具，编写复杂、逐渐被 Airflow 替代。
Delta Lake	增强数据湖格式	Databricks 提出的 ACID 事务支持数据湖格式，支持版本控制、流批一体。
Apache Iceberg	新一代数据湖表格式	由 Netflix 提出，支持大规模数据处理、高并发、快照等特性，广受欢迎。
Hudi	Hadoop Upserts Deletes and Incrementals（数据湖）	Uber 开源的数据湖方案，擅长处理增量数据、数据合并，适合实时场景。
Parquet / ORC	列式存储格式	高效的数据压缩和编码格式，适用于数据分析任务（比 CSV 更节省存储且查询更快）。
Avro	数据序列化格式	面向 Hadoop 场景的数据交换格式，支持 JSON schema 定义与演化。
Superset	数据可视化工具	类似于 Tableau 的开源工具，用于连接数据源并生成 BI 报表。
Zeppelin	Notebook 工具	支持 Spark、Flink、SQL 等的交互式开发工具，适合大数据分析环境。
Jupyter	Notebook 工具	数据科学主流工具，适合 Python + ML 场景。
Flume	日志采集工具	适合从服务器收集日志数据并导入 HDFS、Kafka 等系统。
Logstash	日志收集与处理	Elastic Stack 的日志采集组件，支持过滤与格式转换。
NiFi	数据流调度系统	图形化界面、低代码数据流处理平台，适合可视化数据传输、清洗。
ClickHouse	列式分析数据库	适合做高并发 OLAP 查询，如埋点数据分析、仪表盘后台。
Druid	实时分析数据库	支持流式数据摄取和子秒级查询，适合仪表盘、BI 后台等场景。
Snowflake	云原生数据仓库	一种即开即用、弹性可扩展的现代数据仓库平台，支持多云。
Redshift	AWS 数据仓库	Amazon 提供的托管式分析数据库，适合 OLAP 任务。
Atlas / Amundsen	元数据管理工具	用于追踪数据血缘、字段注解、目录管理，是数据治理的重要组件。
DataHub	元数据平台	LinkedIn 开源的数据血缘与治理平台。
DolphinScheduler	国产数据调度工具	国人开源，可视化强，替代 Airflow 的调度系统，广泛用于大数据平台。
EMR（AWS）	Elastic MapReduce	AWS 提供的托管 Hadoop、Spark、Hive 等服务，便于快速部署大数据平台。
CDP	Cloudera Data Platform	企业级大数据平台，融合了 Hortonworks 与 Cloudera 的产品。

参考

https://juejin.cn/post/7508164831113265186