logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

最全对象存储(云盘)挂载本地主机或服务器

如何将本地各主机文件共享,腾讯云cos、阿里云oss、华为云BOS、亚马逊云s3等对象存储挂载Linux系统、Windows系统、MacOS系统详细操作命令,以及开机自启动配置

文章图片
#服务器#运维#云原生
批量生成datax同步JSON(mysql到doris)

使用datax同步mysql数据到doris,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。

文章图片
#mysql
Flink on K8S集群搭建及StreamPark平台安装

Flink on K8S集群搭建及StreamPark平台安装,在k8s集群中安装StreamPark平台,并管理flink任务

文章图片
#flink#kubernetes#大数据
Flink on K8S生产集群使用StreamPark管理

StreamPark on k8s操作,flink on k8s使用StreamPark 管理

文章图片
#flink#kubernetes#大数据 +1
Kubernetes(k8s)部署DolphinScheduler

DolphinScheduler使用Kubernetes 部署,云原生部署DolphinScheduler

文章图片
#kubernetes#容器#云原生 +1
光猫(无限路由器)插入可移动硬盘搭建简易版的NAS

无限路由器+可移动硬盘组件简易版的NAS,光猫超级用户权限获取,无限路由器开启文件共享

文章图片
Hive on spark 配置 & 踩坑记录 Failed to create spark client

-Hive查询时,报错java.lang.OutOfMemoryError: Java heap space-这种情况属于 JVM 堆内存溢出了,在y arn-site.xml 文件中添加如下代码-->编译步骤:官网下载Hive3.1.2源码,修改pom文件中引用的Spark版本为3.0.0,如果编译通过,直接打包获取jar包。注意:hive.spark.client.connect.timeou

#spark#hive#大数据
datax 同步mongodb数据库到hive(hdfs)和elasticserch(es)

主要解决datax连接mongodb出现Unauthorized问题,和datax增量同步mongodb问题,以及充分利用hive动态分区实现批量同步

#mongodb#hive#数据库 +2
    共 11 条
  • 1
  • 2
  • 请选择