spark on yarn:due to AM Container for appattempt_xx_xx exited with exitCode:-1000
新部署的hadoop和spark集群,使用spark on yarn模式执行一个简单的spark程序包,spark程序的代码逻辑是读取oracle数据库,读取后对数据做简单处理,然后保存。比较匪夷所思的是,spark代码逻辑执行成功,经过处理的数据成功保存到数据库,但是yarn页面显示spark程序报错。报错信息如下:按这篇文章(https://www.e-learn.cn/content/wan
·
新部署的hadoop和spark集群,使用spark on yarn模式执行一个简单的spark程序包,spark程序的代码逻辑是读取oracle数据库,读取后对数据做简单处理,然后保存。比较匪夷所思的是,spark代码逻辑执行成功,经过处理的数据成功保存到数据库,但是yarn页面显示spark程序报错。
报错信息如下:
按这篇文章(https://www.e-learn.cn/content/wangluowenzhang/874518)的解决方法,无法解决。
网上找了很多都没有找到解决方法。
由于是新部署的Hadoop集群和spark,担心是由于哪块儿配置不对导致的,所以执行了一下spark的测试包:
./spark-submit
--master yarn
--deploy-mode cluster
--class org.apache.spark.examples.SparkPi
/export/servers/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar
1000
结果没有任何问题
因此基本就可以确定是代码中的问题了。经过查看代码发现,master没有去掉:
去掉master打包上传服务器执行,运行成功且没有报错,解决。
更多推荐
已为社区贡献8条内容
所有评论(0)