logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

最全对象存储(云盘)挂载本地主机或服务器

如何将本地各主机文件共享,腾讯云cos、阿里云oss、华为云BOS、亚马逊云s3等对象存储挂载Linux系统、Windows系统、MacOS系统详细操作命令,以及开机自启动配置

文章图片
#服务器#运维#云原生
批量生成datax同步JSON(mysql到doris)

使用datax同步mysql数据到doris,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。

文章图片
#mysql
hiveserver2高可用+故障重启(失败重启)应用总结

为解决实际生产中HiveServer2故障问题,笔者多方查阅资料研究,总结以下方法,提高HiveServer2的高可用和失败自动重启

#hive#hadoop#数据仓库 +2
datax 同步mongodb数据库到hive(hdfs)和elasticserch(es)

主要解决datax连接mongodb出现Unauthorized问题,和datax增量同步mongodb问题,以及充分利用hive动态分区实现批量同步

#mongodb#hive#数据库 +2
服务器自动拉取git代码运行脚本

通过git管理器,实现本地与服务器代码同步的方式

文章图片
#服务器#git#运维
批量生成datax同步JSON(tidb到doris)

使用datax同步tidb数据到doris,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。

文章图片
#json#tidb
FlinkCDC从Mongodb同步数据至elasticsearch(ES) 新版

flinkcdc同步数据 从mongodb到elasticsearch(es)

#mongodb#elasticsearch#flink +2
Hive和Spark生产集群搭建(spark on doris)

hive on spark生产集群搭建,可以切换为spark-sql,调度采用yarn,同时可以用spark操纵doris

文章图片
#hive#spark#hadoop +2
Hive on spark 配置 & 踩坑记录 Failed to create spark client

-Hive查询时,报错java.lang.OutOfMemoryError: Java heap space-这种情况属于 JVM 堆内存溢出了,在y arn-site.xml 文件中添加如下代码-->编译步骤:官网下载Hive3.1.2源码,修改pom文件中引用的Spark版本为3.0.0,如果编译通过,直接打包获取jar包。注意:hive.spark.client.connect.timeou

#spark#hive#大数据
    共 16 条
  • 1
  • 2
  • 请选择