logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink sql 使用streamx平台 从kafka读取数据写入es

版本说明:flink 1.12 es 3.61、查询 flink官网。发现有 sql 可以直接写入 es的

#kafka#es6#flink +1
flink sql 报错:FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

当出现这种错误时,原因一般是启动任务时,所给的资源不够。可以调整 streamx 界面上的并行度、task的内存调大。然后重启任务看下是否能行。

#sql#flink#linq
datax shell 脚本补数据

参数设置:说明:支持下面这种格式的 shell 脚本天表中的原有参数:

#hive#大数据
flinksql读取kafka数据写入ck,报错:IOException: Attempt to Flush ClickHouse executor failed

详细报错日志如下:java.io.IOException: Attempt to Flush ClickHouse executor failed, exhausted retry times = 3at org.apache.flink.connector.clickhouse.internal.AbstractClickHouseOutputFormat.attemptFlush(Abstra

#kafka#java#sql
flink 学习笔记

每次先大致写下,后期写的多了在去调格式一、文档学习flink 中时间语义:①、Event Time:是事件创建的时间。例如采集的日志数据中,每一条日志都会记录自己的生成时间。②、Ingestion Time:是数据进入Flink的时间。(ingestion 摄取进入)。③、Processing Time(算子执行时的时间):是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就

#flink#学习
streamX 平台 采用flink sql 读取 kafka 的数据写入 hive

组件:streamX、flink 1.12、hive 2.x一、查询 flink 官网,找寻写hive 的信息。Apache Flink 1.12 Documentation: Hive信息找寻步骤:1、先找到 flink 连接外部信息的目录。2、因为我们是要采用 flink sql 的方式,所以要看 table&sql。3、找到 hive。4、先看概览。在 “概览” 中,有连接 hive

#hive#kafka#flink +1
linux kill -9 杀不掉

​ 1、进入到“/proc/进程号”目录下,执行“cat status”命令可以查询到指定进程的父进程。​ 3、利用“kill 进程号”重新删除指定进程即可 【这一步也可以不用执行】​ 2、利用“kill -9 父进程的进程号”将父进程删除掉;1.这个进程是 僵尸进程 2.此进程是"核心态"进程。

文章图片
#linux#服务器#运维
mac 虚拟机中安装 centos7 报错 Failed to start LSB: Bring up/down networking. 和 mac 电脑装虚拟机时,为centos 设置静态IP。

偶然看到一条说是“ 移除网络配置器”,想到之前 由于手误,多添加了一个,然后移除掉了,就出现了现在的问题。然后我给vim /etc/sysconfig/network-scripts/ifcfg-ens33下配置了 centos 的Mac 地址。这个文件主要设置的是虚拟网卡 vmnet 8 的配置参数,相当于Windows 中的 下图 vmnet ipv4 中的设置一样。在该配置文件中主要设置的是

文章图片
#centos#macos#网络
CentOS7中安装MySQL ,mysql-community-server-8.0.32-1.el7.x86_64.rpm: 头V4 RSA/SHA256 Signature, 密钥 ID 3a7

错误:依赖检测失败: libcrypto.so.10(OPENSSL_1.0.2)(64bit) 被 mysql-community-server-8.0.32-1.el7.x86_64 需要 mysql-community-icu-data-files = 8.0.32-1.el7 被 mysql-community-server-8.0.32-1.el7.x86_64 需要。(2)以及添加依赖

文章图片
#mysql#linux#centos
mac 虚拟机中安装 centos7 报错 Failed to start LSB: Bring up/down networking. 和 mac 电脑装虚拟机时,为centos 设置静态IP。

偶然看到一条说是“ 移除网络配置器”,想到之前 由于手误,多添加了一个,然后移除掉了,就出现了现在的问题。然后我给vim /etc/sysconfig/network-scripts/ifcfg-ens33下配置了 centos 的Mac 地址。这个文件主要设置的是虚拟网卡 vmnet 8 的配置参数,相当于Windows 中的 下图 vmnet ipv4 中的设置一样。在该配置文件中主要设置的是

文章图片
#centos#macos#网络
    共 11 条
  • 1
  • 2
  • 请选择