在 MySQL 中，可能会遇到 You can't specify target table '表名' for update in FROM clause 这样的错误它的意思是说，不能在同一语句中，先 select 出同一表中的某些值，再 update 这个表，即不能依据某字段值做判断再来更新某字段的值。解决方法：select 的结果再通过一个中间表 select 多一次，就可以避免这个错误。

这里的 maven 依赖比较冗余，推荐大家都加上，后面陆续优化。2）代码实现注意：1、此程序中所有的相关配置都是通过 Mysql 读取的（生产环境中没有直接写死的，都是通过配置文件动态配置），大家实际测试过程中可以将相关配置信息写死。2、此程序中 Kafka 涉及到了 Kerberos 认证操作，大家的操作环境中没有的话可以去掉。2.2.conf2.2.1.ConfigTools读取 Mysql

需求描述：1、数据从 Kafka 写入 Kafka。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、Kafka 数据为 Json 格式，通过 FlatMap 扁平化处理后完成写入。5、读取时使用自定义 Source，写入时使用自定义 Sink。6、本地测试时可以编辑 resources.

在 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 下添加。Linux 或者 Windows 端需要安装：Mysql，Kafka，Flink 等。1、首先确认MySQL是否开启binlog机制，log_bin = ON 为开启 （如下图）Mysql 中写入测试数据，Kafka-Topic 中观察是否有数据生成。2、如果是本地环境的 Mysql 按照下面方式

需求描述：1、数据从 Kafka 写入 Mongo。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、Kafka 数据为 Json 格式，获取到的数据根据操作类型字段进行增删改操作。5、读取时使用自定义 Source，写入时使用自定义 Sink。6、消费 Kafka 数据时自定义反序列化。

需求描述：1、数据从 Kafka 写入 Mysql。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、Kafka 数据为 Json 格式，获取到的数据根据操作类型字段进行增删改操作。5、读取时使用自定义 Source，写入时使用自定义 Sink。6、消费 Kafka 数据时自定义反序列化。

需求描述：1、数据从 Kafka 写入 Hive。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、Flink 集成 Kafka 写入 Hive 需要进行 checkpoint 才能落盘至 HDFS。5、先在 Hive 中创建表然后动态获取 Hive 的表结构。6、Kafka 数据为 Js

需求描述：1、数据从 Kafka 写入 ClickHouse。2、相关配置存放于 Mysql 中，通过 Mysql 进行动态读取。3、此案例中的 Kafka 是进行了 Kerberos 安全认证的，如果不需要自行修改。4、先在 ClickHouse 中创建表然后动态获取 ClickHouse 的表结构。5、Kafka 数据为 Json 格式，通过 FlatMap 扁平化处理后，根据表结构封装到 R

在 Kafka 中写入对应 ClickHouse 格式的 Json 测试数据，观察 ClickHouse 中是否有数据写入。集群模式要创建两次表，一次为 local 本地表，一次为 cluster 集群表。1、创建表（此处我们使用生产环境中较为常用的 cluster 集群模式建表）1、数据源为 Kafka，定义 Kafka-Topic 为动态临时视图表。如果在服务器上执行，需要将 jar 放到 F

1、Broker 启动后向 ZK 进行注册，ZK 记录好存活的 Broker。2、每个 Broker 中都有 Controller，谁的 Controller 先注册谁就是 Controller Leader。3、Controller Leader 上线后监听已经注册的 Broker 节点的变化。4、Controller 开始选举 Leader（1）选举规则：在 ISR 中存活着的节点，按照 AR