最近在回顾数仓项目时,重新调度了一下集群的任务,发现在跑某个任务时出现了该错误。

起初尝试了调整yarn集群的资源,发现并没有太大的作用。

检索了网上的博客发现可能有两种报错原因:

  1. spark和hive的版本不兼容

  1. spark客户端等待时间太短

第一种情况检查过后发现并没有不兼容的问题,因为版本都是事先确定好的。

那么尝试了第二种方法,在hive的配置文件中找到调整等待时间的参数,进行修改。

在hive-default.xml.template文件中,有两个参数可供修改

第一个参数是指spark连接回hive客户端的最大超时时间,默认是1s

第二个参数是指hive客户端与spark建立连接的最大超时时间,默认是90s

根据本人的情况,hive的连接没有出现问题,那么就尝试修改第一个参数。

在hive-site-xml文件中,添加或修改该参数,调大一点。

最后恢复失败任务,运行成功。

Logo

大数据从业者之家,一起探索大数据的无限可能!

更多推荐