logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flume和kafka的整合

接着创建一个topic ,名字叫做 kafka-flume,或者直接使用以前的five 主题。启动一个消息生产者,向topic中发送消息,启动flume,接收消息。

文章图片
#flume#kafka#大数据
大数据 面试 Shuffle 过程(必问)

1,是 MapReduce 的 Shuffle 过程 指的是 MapTask的后半程,以及ReduceTask 的前半程,共同组成的。2,从MapTask中map方法结束,到ReduceTask中的reduce方法开始,这个中间的部分就是Shuffle。是MapReduce的核心,心脏。

文章图片
#大数据#hadoop
到底了