问题:一直在跑的任务突然怎么都跑不成功了。
在这里插入图片描述
查看日志,没有具体报错原因,主要看到Reason :Container marked as failed.exit status:143
在这里插入图片描述

由此怀疑是容器资源不够无法起起来。遂更改yarn相关配置。主要是修改最小容器内存和内容增量加大。
在这里插入图片描述
然并卵。无论怎么调还是不够内存。
因此开始认真找报错原因。
查询container日志方法:
yarn上找到application的日志之前 可以看到在哪个node节点上执行的
在这里插入图片描述
然后去相应的node节点机器上,进入路径:
cd /yarn/container-logs/
ll 看看里面的日志:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
最后可以看到是udf函数 java程序报错,可以看到是哪条数据传进的参数导致的。最后解决问题。

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐