新部署的hadoop和spark集群,使用spark on yarn模式执行一个简单的spark程序包,spark程序的代码逻辑是读取oracle数据库,读取后对数据做简单处理,然后保存。比较匪夷所思的是,spark代码逻辑执行成功,经过处理的数据成功保存到数据库,但是yarn页面显示spark程序报错。

报错信息如下:
在这里插入图片描述
按这篇文章(https://www.e-learn.cn/content/wangluowenzhang/874518)的解决方法,无法解决。

网上找了很多都没有找到解决方法。

由于是新部署的Hadoop集群和spark,担心是由于哪块儿配置不对导致的,所以执行了一下spark的测试包:

./spark-submit 
--master yarn 
--deploy-mode cluster 
--class org.apache.spark.examples.SparkPi 
/export/servers/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar 
1000

结果没有任何问题
在这里插入图片描述
因此基本就可以确定是代码中的问题了。经过查看代码发现,master没有去掉:
在这里插入图片描述
去掉master打包上传服务器执行,运行成功且没有报错,解决。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐