logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink1.17.1 upsert-kafka连接器好像不支持时间戳

博主在测试的时候发现,普通的kafka连接器使用时间戳TIMESTAMP或者TIMESTAMP_LIZ没有问题,但是upsert-kafka连接器使用的时候就是报错。

文章图片
#flink#大数据
DataX同步hive数据到starrocks

如果在目录datax/plugin/writer 中直接解压,解压后需要把starrockswriter.tar.gz删掉。下载地址https://github.com/StarRocks/DataX/releases。StarRocks官方提供了DataX的Writer插件。解压至目录datax/plugin/writer。

文章图片
#hive#hadoop#数据仓库
hive3.1.2的保姆级安装教程,使用MariaDB作为元数据库

需要JDK环境,本文是在已经装好Hadoop3.2.2伪分布式的基础上在部署hive服务,Hadoop3.2.2伪分布式的搭建可以去看博主写的这篇文,写的很细,无脑跟着操作就行https://blog.csdn.net/ash_77/article/details/157763889?剩下还需要配置hive的元数据库,默认使用的是Derby,但是Derby不支持多会话,在生产环境中都会配置成MyS

文章图片
#数据库#mariadb#大数据
Hadoop3.2.2伪分布式搭建

从https://archive.apache.org/dist/hadoop/common/官网下载对应的版本。登录yarn WebUI查看,默认端口8088。本次安装的操作系统是Kylin X86。后续会出hive3.1.2的安装~安装Hadoop3.2.2。

文章图片
#分布式#大数据#hadoop
Flink1.17.1本地单节点部署,并支持连接mysql-cdc

Flink官网中问答部分有介绍flink-sql-connector-mysql-cdc和flink-connector-mysql-cdc的区别以及使用场景,flink-sql-connector-mysql-cdc包括了Flink SQL执行所需的依赖,是个fat jar,只需导入这个包就可以执行Flink SQL连接mysql-cdc。下载flink-sql-connector-mysql-

#flink#大数据
hive3.1.2的保姆级安装教程,使用MariaDB作为元数据库

需要JDK环境,本文是在已经装好Hadoop3.2.2伪分布式的基础上在部署hive服务,Hadoop3.2.2伪分布式的搭建可以去看博主写的这篇文,写的很细,无脑跟着操作就行https://blog.csdn.net/ash_77/article/details/157763889?剩下还需要配置hive的元数据库,默认使用的是Derby,但是Derby不支持多会话,在生产环境中都会配置成MyS

文章图片
#数据库#mariadb#大数据
到底了