
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
【Spark程序在某个stage的最后一个Task卡住--Duration一直增长】
我透泥🐎,先有鸡还是先有蛋呢,你想这个问题能想到你死。不多bb,在我这篇帖子,我只说一种办法,把你正在跑的数据量减少一半(总之就是通过减少数据量来验证是不是内存不足导致Task卡死),然后重新跑Spark任务,成功就是硬件的问题(机器内存不够);如果不成功那你还是成仁吧。

到底了

该用户还未填写简介
暂无可提供的服务
我透泥🐎,先有鸡还是先有蛋呢,你想这个问题能想到你死。不多bb,在我这篇帖子,我只说一种办法,把你正在跑的数据量减少一半(总之就是通过减少数据量来验证是不是内存不足导致Task卡死),然后重新跑Spark任务,成功就是硬件的问题(机器内存不够);如果不成功那你还是成仁吧。
