logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ArrayIndexOutOfBoundsException: 9 spark3写入数据到hive,使用hivesql读取异常

摘要:本文解决了CDH6.2.0环境中Spark3写入Hive后查询报错(ArrayIndexOutOfBoundsException)的问题。该异常是由于Spark3使用的ORC版本高于CDH6的Hive版本导致。作者提供了两种解决方案:1)修改Hive兼容高版本ORC(需替换OrcFile.class),2)修改Spark3的ORC默认写入版本并重新编译ORC-core包。文章详细介绍了第二种

#hive#spark#大数据
到底了