logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DFSClient: Exception in createBlockOutputStreamjava.net.ConnectException: Connection timed out

idea远程提交spark on yarn出现问题代码报错信息连接超时,防火墙已关闭,端口开放,重启hdfs后还是无法解决,捣鼓了很久在百度后再次查看日志在后面的报错中找到这么一串信息连接datanode使用的是私网ip,难怪连接不到,配置外网访问datanode就可以了。

#spark#hadoop#大数据 +2
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher

设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称,第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错,查看8088日志发现。

#spark#大数据#intellij-idea +1
到底了