
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
sqoop导入hive数据时对换行等特殊字符处理
使用场景:公司大数据平台ETL操作中,在使用sqoop将mysql中的数据抽取到hive中时,由于mysql库中默写字段中会有换行符,导致数据存入hive后,条数增多(每个换行符会多出带有null值得一条数据),导致统计数据不准确。解决办法:利用一下两个参数可以实现对换行等特殊字符的替换或者删除--hive-delims-replacement--hive-drop-import-delims参考
到底了







