logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

尚硅谷hadoop3.x-Yarn

ReduceTask从MapTask拉取对应分区的数据开始处理,当所有的ReduceTask都运行完毕,MrAppMaster便会向RM申请释放资源,即刚刚产生的所有东西包括自己全都释放掉。可以发现,容量调度器有的公平调度器全都有,而且公平调度器还有容量调度器没有的。由于容量调度器的队列的资源分配方式默认是FIFO,如果将公平资源调度器的队列的资源分配方式设置成FIFO,那么此时公平调度器就相当于

文章图片
#大数据#yarn#hdfs
尚硅谷hadoop3.x-HDFS(2)

注意:hdfs写数据时是将全部块给dn1,然后再由dn1依次传给剩余的节点。同时会产生一个ack队列,用于接收下一端是否应答成功。都应答成功后其存储的数据才会删除,否则把未应答的数据的重新塞给发送数据的packet队列。

文章图片
#hdfs#hadoop#大数据
到底了