logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

解决kettle mysql导入到hive的各种报错问题

同时也需要确保kettle对hive的连接也是正常的记得提前打开hiveserver2远程连接服务,出现以下界面几位正常:(注意kettle里面是没有mysql的jar包的要拿到自己的mysql jar包传入到kettle的lib目录下)这个错误大致是在说hive中的某些方法不被支持,这个错误相关信息在博客和其他网站上都非常少,摸索了很久后发现在 hive/conf/.hiverc下加入这样一句话

文章图片
#mysql#hive#数据库
解决spark-yarn模式下运行py可执行文件报错 java.io.IOException: Cannot run program “python3“: error=2, 没有那个文件或目录

如上图所示是完整的报错信息。这个问题是在spark-yarn模式中安装完pyspark环境后运行一些python的可执行文件出现的。错误信息提示我们其他集群没有找到python3环境,这时我们首先要检查其他集群上面是否有python3环境,或者anaconda,anaconda是可以替代python3的它里面包含了python3。然后检查自己的spark文件是否存在一个硬链接,如果没用可以创建硬链

文章图片
#spark#java#python
解决pycharm使用spark报错PySparkRuntimeError:Java gateway process exited before sending its port number.

如果还有可以打开命令行页面,进入到自己的base环境下输出pyspark看是否能启动成功,启动失败则是pyspark安装有问题,重新安装再次启动即可。进入到环境变量下的系统变量检查查看PATH目录下是否有C:\Windows\System32。没有的话就添加这句话C:\Windows\System32,然后重启pycharm即可解决。

文章图片
#pycharm#gateway#ide
解决Hive启动报错:org.apache.thrift.transport.TTransportException: Cannot write to null outputStream

在配置好hiveserver2和Metastore两个服务后使用脚本hive-server-manager.sh start启动服务。-- hiveserver2的高可用参数,开启此参数可以提高hiveserver2的启动速度 -->

文章图片
#hive#apache#hadoop
到底了