
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
如何将本地各主机文件共享,腾讯云cos、阿里云oss、华为云BOS、亚马逊云s3等对象存储挂载Linux系统、Windows系统、MacOS系统详细操作命令,以及开机自启动配置

使用datax同步mysql数据到doris,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。

为解决实际生产中HiveServer2故障问题,笔者多方查阅资料研究,总结以下方法,提高HiveServer2的高可用和失败自动重启
主要解决datax连接mongodb出现Unauthorized问题,和datax增量同步mongodb问题,以及充分利用hive动态分区实现批量同步
通过git管理器,实现本地与服务器代码同步的方式

使用datax同步tidb数据到doris,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。

flinkcdc同步数据 从mongodb到elasticsearch(es)
hive on spark生产集群搭建,可以切换为spark-sql,调度采用yarn,同时可以用spark操纵doris

-Hive查询时,报错java.lang.OutOfMemoryError: Java heap space-这种情况属于 JVM 堆内存溢出了,在y arn-site.xml 文件中添加如下代码-->编译步骤:官网下载Hive3.1.2源码,修改pom文件中引用的Spark版本为3.0.0,如果编译通过,直接打包获取jar包。注意:hive.spark.client.connect.timeou
mongodb升级







