![](../../asset/images/user/bgImg_default.jpeg)
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
在 MySQL 中,可能会遇到 You can't specify target table '表名' for update in FROM clause 这样的错误它的意思是说,不能在同一语句中,先 select 出同一表中的某些值,再 update 这个表,即不能依据某字段值做判断再来更新某字段的值。解决方法:select 的结果再通过一个中间表 select 多一次,就可以避免这个错误。
![文章图片](https://img-blog.csdnimg.cn/img_convert/93aead519c564435a80b80f50ea52764.png)
这里的 maven 依赖比较冗余,推荐大家都加上,后面陆续优化。2)代码实现注意:1、此程序中所有的相关配置都是通过 Mysql 读取的(生产环境中没有直接写死的,都是通过配置文件动态配置),大家实际测试过程中可以将相关配置信息写死。2、此程序中 Kafka 涉及到了 Kerberos 认证操作,大家的操作环境中没有的话可以去掉。2.2.conf2.2.1.ConfigTools读取 Mysql
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
需求描述:1、数据从 Kafka 写入 Kafka。2、相关配置存放于 Mysql 中,通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的,如果不需要自行修改。4、Kafka 数据为 Json 格式,通过 FlatMap 扁平化处理后完成写入。5、读取时使用自定义 Source,写入时使用自定义 Sink。6、本地测试时可以编辑 resources.
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
在 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 下添加。Linux 或者 Windows 端需要安装:Mysql,Kafka,Flink 等。1、首先确认MySQL是否开启binlog机制,log_bin = ON 为开启 (如下图)Mysql 中写入测试数据,Kafka-Topic 中观察是否有数据生成。2、如果是本地环境的 Mysql 按照下面方式
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
需求描述:1、数据从 Kafka 写入 Mongo。2、相关配置存放于 Mysql 中,通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的,如果不需要自行修改。4、Kafka 数据为 Json 格式,获取到的数据根据操作类型字段进行增删改操作。5、读取时使用自定义 Source,写入时使用自定义 Sink。6、消费 Kafka 数据时自定义反序列化。
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
需求描述:1、数据从 Kafka 写入 Mysql。2、相关配置存放于 Mysql 中,通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的,如果不需要自行修改。4、Kafka 数据为 Json 格式,获取到的数据根据操作类型字段进行增删改操作。5、读取时使用自定义 Source,写入时使用自定义 Sink。6、消费 Kafka 数据时自定义反序列化。
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
需求描述:1、数据从 Kafka 写入 Hive。2、相关配置存放于 Mysql 中,通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的,如果不需要自行修改。4、Flink 集成 Kafka 写入 Hive 需要进行 checkpoint 才能落盘至 HDFS。5、先在 Hive 中创建表然后动态获取 Hive 的表结构。6、Kafka 数据为 Js
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
需求描述:1、数据从 Kafka 写入 ClickHouse。2、相关配置存放于 Mysql 中,通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的,如果不需要自行修改。4、先在 ClickHouse 中创建表然后动态获取 ClickHouse 的表结构。5、Kafka 数据为 Json 格式,通过 FlatMap 扁平化处理后,根据表结构封装到 R
![文章图片](https://img-blog.csdnimg.cn/img_convert/10307f7f1d9941ff9afe431681c146f1.png)
在 Kafka 中写入对应 ClickHouse 格式的 Json 测试数据,观察 ClickHouse 中是否有数据写入。集群模式要创建两次表,一次为 local 本地表,一次为 cluster 集群表。1、创建表(此处我们使用生产环境中较为常用的 cluster 集群模式建表)1、数据源为 Kafka,定义 Kafka-Topic 为动态临时视图表。如果在服务器上执行,需要将 jar 放到 F
![文章图片](https://img-blog.csdnimg.cn/img_convert/6a1af1f312334496b0030d2beebc1f71.png)
1、Broker 启动后向 ZK 进行注册,ZK 记录好存活的 Broker。2、每个 Broker 中都有 Controller,谁的 Controller 先注册谁就是 Controller Leader。3、Controller Leader 上线后监听已经注册的 Broker 节点的变化。4、Controller 开始选举 Leader(1)选举规则:在 ISR 中存活着的节点,按照 AR
![文章图片](https://img-blog.csdnimg.cn/img_convert/f47eba77896a4514ac359eab015666ca.png)