Lost executor 原因分析及解决方案-记录
Lost executornode丢失原因: 1、有时候是物理机导致的node暂时丢失,物理机恢复后 容器也自己恢复。如io过高 2、另一种就是物理机故障了 容器真丢了异常信息: 1、ERROR cluster.YarnScheduler: Lost executor 2、ERROR client.TransportClient: Failed to send RP
·
Lost executor
node
丢失原因:
1
、有时候是物理机导致的
node
暂时丢失,物理机恢复后
容器也自己恢复。如io过高
2
、另一种就是物理机故障了
容器真丢了
异常信息:
1
、
ERROR cluster.YarnScheduler: Lost executor
2
、
ERROR client.TransportClient: Failed to send RPC
3
、
WARN storage.BlockManagerMaster: Failed to remove RDD
4
、
ERROR cluster.YarnScheduler: Lost executor 1 on 172.18.13.24: Slave lost
原因分析:
1
、
yarn
资源不够导致
2
、节点内存分配少,
yarn kill
了
spark application
3
、
RDD
太大,导致内存不够
4
、网络太差导致
5
、
Lost executor
解决方案:
1
、
spark.executor.extraJavaOptions=-XX:MaxPermSize=1024M" --driver-java-options -XX:MaxPermSize=1024m
2
、增加
executor
内存
3
、
-Dspark.akka.frameSize=10000
更多推荐
已为社区贡献1条内容
所有评论(0)