logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark任务执行过程中经常性的failed但是任务并没有失败最后总能跑完

1.现象场景:在spark执行程序中会看到很多的failed但是过程能正常执行完查看如下:ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after 941664 ms表面现象的问题是直接某个机器由于心跳超时,超过一定时间

#spark#mapreduce
<springboot实战笔记> 关于@Component与@Bean

1、官方说明@Component 和 @Bean 是两种使用注解来定义bean的方式。@Component(和@Service和@Repository)用于自动检测和使用类路径扫描自动配置bean。注释类和bean之间存在隐式的一对一映射(即每个类一个bean)。这种方法对需要进行逻辑处理的控制非常有限,因为它纯粹是声明性的。@Bean用于显式声明单个bean,而不是让Spring像上面那样自动执

kafka配置详解笔记

一、kafka集群搭建详细步骤1、装好jdk,并配置好zookeeper、hdfs集群2、下载好kafka安装包,解压。3、进入解压后的kafkaconfig目录,主要是server.properties(kafka配置文件)本文主要参考:http://blog.51cto.com/lee90/2067533,仅个人笔记使用。cd /soft/kafka/configvi /...

到底了