hive on spark 任务运行报错:Failed to create Spark client for Spark session xxx
项目bug解决
·
最近在回顾数仓项目时,重新调度了一下集群的任务,发现在跑某个任务时出现了该错误。
起初尝试了调整yarn集群的资源,发现并没有太大的作用。
检索了网上的博客发现可能有两种报错原因:
spark和hive的版本不兼容
spark客户端等待时间太短
第一种情况检查过后发现并没有不兼容的问题,因为版本都是事先确定好的。
那么尝试了第二种方法,在hive的配置文件中找到调整等待时间的参数,进行修改。
在hive-default.xml.template文件中,有两个参数可供修改
第一个参数是指spark连接回hive客户端的最大超时时间,默认是1s
第二个参数是指hive客户端与spark建立连接的最大超时时间,默认是90s
根据本人的情况,hive的连接没有出现问题,那么就尝试修改第一个参数。
在hive-site-xml文件中,添加或修改该参数,调大一点。
最后恢复失败任务,运行成功。
更多推荐
已为社区贡献1条内容
所有评论(0)