logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

sqoop导出导入mysql,hive乱码以及只有部分数据。

如果不是图1-1这样就需要改,或者在每次导出导入的时候添加?两个库的编码保持一直,如hive这边的编码是utf-8,mysql也要为utf-8,($代表命令)直接修改,就可以不用每次都添加?最后看一下是否为图1-1一样,否则没有修改成功。1.1检查mysql的编码。在[mysqld]下面添加。保存退出,重启mysql。

文章图片
#hive#sqoop#mysql
sqoop从hive导出到mysql卡在一直卡在INFO mapreduce.Job: Running job,改容量不行试试这个方法。

1-1.用$hadoop job -list查看进程,当时本人遇到已经是011了,初始是001.1.如果之前可以运行,大概率排除配置问题,先考虑是否进程过多一直在排队,($代表是命令)1-2.用$hadoop job -kill杀掉进程,再运行试一下。1-3.如果还不行就再重启一次,大概率就解决了。

文章图片
#hive#sqoop#mysql
MacBook Pro (m1) 安装 Miniforge3 安装 Jupyter notebook 使用python。

1_1.下载Miniforge3-MacOSX-arm64(适用于 M1芯片的 arm64版本)。找到版本点击下载,接着进行下一步。1_2.找到下载好的文件地址,打开Mac终端 输入注意:1.过程中回车建议按慢一点.2.安装过程中会有yes/no选择,按自己需要选择(一般都全yes).

文章图片
#python#jupyter#开发语言
到底了