最近在进行用sqoop将业务表数据导入到hive,在导入的时候发现一直在报一个WARN,WARN TableDefWriter:Column height had to be cast to a less precise type in Hive. 具体日志贴图.看到报警以后,查看了hive表的数据,发现数据并没有丢失,又查看了hive表结构,发现很多字段的数据类型发生了改变.在进行表导入的时候.

问题一,启动报错启动参数:sudo clickhouse-server --config-file=/etc/clickhouse-server/config.xml2020.08.20 18:49:28.189321 [ 29338 ] {} <Error> Application: DB::Exception: Effective user of the process (root

在eclipse中,在创建hadoop工程的时候.pom.xml文件报错:Missing artifact jdk.tools:jdk.tools:jar:1.8.原因:tools.jar包是jdk自带的,pom文件中依赖的包隐式依赖tools.jar包,而tools.jar并不在库中,只需要将tools.jar包添加到库中即可.解决方案:在pom文件中添加tools.jar的依赖,代码如下.这里

前段时间用sparksession读取MySQL的一个表的时候,出现耗时长,频繁出现oom等情况,去网上查找了一下,是因为用的默认读取jdbc方式,单线程任务重,所以出现耗时长,oom等现象.这时候需要提高读取的并发度.现简单记录下.看sparsession DataFrameReader源码,读取jdbc有三个方法重载.单partition,无并发def jdbc(url: String,...

最近在测试sparkstreaming的时候发现了一个问题,记录一下环境 spark 2.x, kafka_0.10.x示例代码:val ssc: StreamingContext = new StreamingContext(sparkSession.sparkContext,Seconds(5))val kafkaBrokers:String = "hadoop01:9092...

在Dubbox分布式服务中，连不上虚拟机注册中心,报连接超时问题.如下图所示:检查可能是如下两个问题:1.虚拟机的防火墙未关闭.解决如下,关闭防火墙,或者放开注册中心需要的端口关闭防火墙:检查防火墙状态:chkconfig iptables -- list关闭防火墙:service iptables stop关闭防火墙的开机自启动:chkconfig iptables off或者在防火墙设置中放开

虚拟机安装redis,我的虚拟机地址是192.168.25.120,安装的redis版本是4.0.2在虚拟机上安装好了redis,虚拟机连接没问题在用Jedis连接虚拟机redis的时候报错.redis.clients.jedis.exceptions.JedisConnectionException: java.net.ConnectException: Connection re...