FlinkSQL 14.5 CDC实现同步oracle11G 数据到mysql

代码】dolphinscheduler执行脚本shell自动远程操作服务器。

1. 为了解决大数据数据仓库中，不能更新的问题， 我们就采用拉链表进行弥补了这样的问题。拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。2.采用的架构3.实现过程3.1 比如数据有一张表test_student以下是2021年1月3号的数据，idnamecreate_timeupdate_time1hdfs2

1. 版本说明组件版本hudi10.0flink13.5hive3.1.02. 实现效果 通过flink cdc 整合 hudi到hiveflink cdc 讲解flink cdc 1.2实例flink cdc 2.0 实例

1. 对应版本组件版本spring-boot2.4.2spring-cloud-starter-alibaba-nacos-config2021.12. 名词解释Namespace：代表不同环境，如开发、测试、生产环境。Group：代表某项目，如XX医疗项目、XX电商项目。DataId：每个项目下往往有若干个工程（微服务），每个配置集(DataId)是一个工程（微服务）的主配置文件。2.2 Nac

【代码】majicMIX realistic 模型。

1. 通过importtsv 命令将hdfs 数据导入到hbase 中命令：HADOOP_HOME=/export/servers/hadoopHBASE_HOME=/export/servers/hbaseHADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf ${HADOOP_HOME}/bin/yarn j

1.hudi 简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Lo

1. 通过importtsv 命令将hdfs 数据导入到hbase 中命令：HADOOP_HOME=/export/servers/hadoopHBASE_HOME=/export/servers/hbaseHADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf ${HADOOP_HOME}/bin/yarn j

1.hudi 简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Lo