logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hive导出指定分隔符-用逗号分隔

业务场景:  做数据分析的时候,经常会用到hive -e "sql" > result.csv,然后将结果导入到excel中,可是使用hive -e导出后默认的分隔符是\t,excel无法识别,所以需要将\t转成,方案一:使用linux管道符替换hive -e "select * from table limit 10" | sed 's/\t/,/g' > result.csv或者h

Hive分区表动态添加字段

场景描述:  公司埋点项目,数据从接口服务写入kafka集群,再从kafka集群消费写入HDFS文件系统,最后通过Hive进行查询输出。这其中存在一个问题就是:埋点接口中的数据字段是变化,后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化,否则无法通过Hive查询到最新添加字段的数据。解决办法:  为数据表添加字段,字段必须添加到已有字段的最后面。因为已经存在的数据是按...

到底了