数据存储

Apache Hadoop - HDFS

Apache Hadoop框架内的组件HDFS是大数据体系中使用
最为广泛的分布式存储技术

Apache HBase

Apache HBase是大数据体系内使用非常广泛的NoSQL KV型数据库技术
HBase是基于HDFS之上构建的。

Apache KUDU

Apache Kudu同样为大数据体系中使用较多的分布式存储引擎

云平台存储组件

除此以外，各大云平台厂商也有相应的大数据存储组件，如
阿里云的OSS、UCloud的US3、AWS的S3、金山云的KS3等等

数据计算

Apache Hadoop - MapReduce

Apache Hadoop的MapReduce组件是最早一代的大数据分布式计算引擎
对大数据的发展做出了卓越的贡献

Apache Hive

Apache Hive是一款以SQL为要开发语言的分布式计算框架。其底层使用了Hadoop
的MapReduce技术
Apache Hive至今仍活跃在大数据一线，被许多公司使用。

Apache Spark

Apache Spark是目前全球范围内最火热的分布式内存计算引擎。
是大数据体系中的明星计算产品

Apache Flink

Apache Flink同样也是一款明星级的大数据分布式内存计算引擎。
特别是在实时计算（流计算）领域，Flink占据了大多数的国内市场。

数据传输

Apache Kafka

Apache Kafka是一款分布式的消息系统，可以完成海量规模的数据传输工作。
Apache Kafka在大数据领域也是明星产品

Apache Pulsar

Apache Pulsar同样是一款分布式的消息系统。
在大数据领域同样有非常多的使用者。

Apache Flume

Apache Flume是一款流式数据采集工具，可以从非常多的数据源中
完成数据采集传输的任务。

Apache Sqoop

Apache Sqoop是一款ETL工具，可以协助大数据体系和关系型数据库
之间进行数据传输。