logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

用sqoop从hive导入数据到mysql中,中文乱码变成问号

导出的时候,character和Encoding之间有个换行符,我没发现直接复制到虚拟机的命令行执行了。错误原因就是在这里,这里必须得把换行符或者空格之类的删掉,不然characterEncoding这个参数就识别不了。今天用sqoop导出数据的时候,发现中文变成问号?了,在网上查了各种方法试了都没啥用。删掉换行符后再执行一遍就可以了,没有乱码了。

#数据仓库#hive#sql +2
hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask

执行完报错了:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask。需要注意的是,之前的insert语句虽然报错了,但是已经向表里插入数据了,有可能会造成重复的数据。执行这个以后再执行insert语句,就不报错,插入数据成功了!insert into table--------的时候

#数据仓库#大数据#apache +1
hive导出数据到mysql,结果数据量变少

后来发现原来是因为,我在mysql创建表的时候,有个varchar字段的长度,应该是varchar(255),,我写的varchar(32),就是因为字符长度不对,所以导入数据时,一些长度超过32的记录导入失败了。今天用sqoop导出数据,放入mysql,结果发现数据量对不上,明明hive的表里有几万行数据,导入mysql里只有几百行数据了。用这句话查一下hive表中string数据的最大长度,然

#数据仓库#sql#大数据 +1
到底了