logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop 程序在运行时 reduce过程卡在某个进度不动的问题

今天写好hadoop 程序之后,进行线上测试,驶入数据为一个hive表的文件,location到了一个hdfs目录下,然后跑hadoop的过程中,map阶段没有出现问题,但是每次到了reduce阶段,进度都卡在33%不动了,刚开始以为是集群问题,后来重新启动了几次任务,都是这种情况。可能的情况1:后来在stackoverflow上找到了答案,这是hadoop上数据倾斜造成的问题(我的hiv

#hadoop#mapreduce
到底了