logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Lost executor 原因分析及解决方案-记录

Lost executornode丢失原因:        1、有时候是物理机导致的node暂时丢失,物理机恢复后  容器也自己恢复。如io过高        2、另一种就是物理机故障了  容器真丢了异常信息: 1、ERROR cluster.YarnScheduler: Lost executor 2、ERROR client.TransportClient: Failed to send RP

#spark
spark streaming 踩过的那些坑

系统背景spark streaming + Kafka高级API receiver目前资源分配(现在系统比较稳定的资源分配),独立集群--driver-memory 50G--executor-memory 8G--num-executors 11--executor-cores 5广播变量1. 广播变量的初始化1.1.executor...

到底了