logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据—数据采集DataX

DataX 是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据

文章图片
#hdfs#数据库#数据仓库 +2
数据分析中如何理解透视表

透视表(Pivot Table)是数据分析中一种非常强大的工具,用于快速汇总、分析、探索和展示数据。透视表可以根据数据的不同维度和指标进行重组和计算,帮助用户从大量数据中提取有用的信息和发现数据中的模式和趋势。

文章图片
#数据分析#数据挖掘#大数据 +1
最简单方法解决启动hive时报错:Exception in thread “main“ java.lang.RuntimeException: org.apache.hadoop.hdfs.serve

相信很多人和我一样在启动完集群之后,通过“lsof -i:10000”检测是否启动成功时会遇到如下图这种情况:等待许久依旧无法启动成功,从而DataGrip无法连接数据库。经过回头检验发现在启动metastore后,hive检验时报错如下图:很容易我们可以关注到:这是因为我们在某次关闭虚拟机时,hadoop没正常关闭,系统自动启动了保护模式!

文章图片
#hadoop#hive#java
最简单方法解决启动hive时报错:Exception in thread “main“ java.lang.RuntimeException: org.apache.hadoop.hdfs.serve

相信很多人和我一样在启动完集群之后,通过“lsof -i:10000”检测是否启动成功时会遇到如下图这种情况:等待许久依旧无法启动成功,从而DataGrip无法连接数据库。经过回头检验发现在启动metastore后,hive检验时报错如下图:很容易我们可以关注到:这是因为我们在某次关闭虚拟机时,hadoop没正常关闭,系统自动启动了保护模式!

文章图片
#hadoop#hive#java
到底了