logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive explode函数使用异常,数据不准(丢失)

hive explode lateral viewcan not findgenColumnStats

文章图片
#hive#hadoop#数据仓库 +3
spark 执行 hive sql数据丢失

摘要:使用spark-sql执行hive查询时,发现结果比hive-sql少了2条数据。原因是表中user_id字段为CHAR类型,在spark中会自动补空格,而hive不会。解决方案是使用TRIM()函数处理user_id字段,如:select date,user_id,pay from dim.isr_pay_failed where trim(user_id)='*******'。其他类型字

#spark#hive#sql
spark: Required field ‘filesAdded‘ is unset!

Required field 'filesAdded' is unset! Struct:InsertEventRequestData(files), hive , filesAdded, unset

文章图片
#spark#大数据#分布式 +2
到底了