1.1 简介为实现数据同步功能，进行debezium组件验证，编写此说明。1.2 目标读者使用数据同步组件相关人员，技术选型人员。3.1 组件版本（版本可换，保证kafka、mysql能用即可）Kafka：2.2.1+cdh6.3.2Zookeeper:3.4.5+cdh6.3.2MySql(MariaDB版本)Debezium：1.5.03.2 组件使用MySQL安装在10.22.82.123节

匿名用户user=anonymous执行SQL语句时，报错！再执行SQL语句，就可以了。如果还不行，基本就是权限的问题了。像这样：那我们只能使用hdfs用户操作了。

如图，hive中数据显示为NULL，解析错误。原因：分隔符不对解决:sqoop抽数脚本里的分隔符用的是\01， 导数据到hdfs上是这种SOH的，对应到hive中是\001sqoop抽数脚本：hdfs上：hive上的表这样的对应关系就可以正常解析了。附录：ASCII码表对照关系...

目录问题描述：flink运行报错：Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application.原因：缺少flink-client jar解决：引入依赖问题描述：flink运行报错：Exception in thread "main" j

hive自定义函数分为三类：UDF（User-Defined-Function）普通函数， 一进一出UDAF（User-Defined Aggregation Function）聚合函数，多进一出UDTF（User-Defined Table-Generating Functions）表生成函数， 一进多出UDF实例新建子模块hive_demo...

如图，flink安装好后，Task Slots一直是0.修改过很多地方的设置，如jobmanager.memory.process.size: 5gb。最后修改这个地方：最配置文件最后添加一行，重启服务即可。

少包~flink-connector-jdbc_2.11-1.12.4.jarJDBC的包，放到/opt/cloudera/parcels/FLINK/lib/flink/lib下面，集群的各个节点都放。

目录问题描述：访问或者启动hive 服务时，失败！解决：hive.metastore.schema.verification 改为false问题描述：访问或者启动hive 服务时，失败！MetaException(message:Version information not found in metastore. )查看服务是否存在：ps -ef |grep HiveMetaStore启动服务：

如图：原因：flink从1.10开始不再支持参数 -yn解决：去掉参数 -yn执行

dbeaver连接oracle报错：IO Undefined Error如下图： 解决：1.找到dbeaver所在目录，修改dbeaver.ini文件，最后添加一句： 2.以管理员身份运行dbeaver软件，打开即可正常连接，问题解决。