logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据系统常用组件理解(Hadoop/hive/kafka/Flink/Spark/Hbase/ES)

Spark streaming接收kafka、Flume、HDFS、套接字等各种来源实时输入数据,进行处理,处理后结构数据可存储到文件系统、数据库,或显示在可视化图像中;Hive 是构建在Hadoop HDFS上的数据仓库,可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询功能,主要完成海量数据的分析和计算。可以实现高吞吐量的,具备容错机制的实时流数据的处理;Spark和hive结合的比

文章图片
#hadoop#hive#kafka +3
到底了