- @weixin_40126236
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data f.
Windows系统连接Linux的Hadoop文件系统，对于没有权限的问题解决办法：有两种1、在程序的main方法里面，最上面一行加入System.setProperty("HADOOP_USER_NAME","user");2、在文件系统FileSystem创建对象是，表明userFileSystem fileSystem = FileSystem.get(URI.cre...
1、添加必要的maven依赖<dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11</version>...
[2019-05-30 14:38:58,089] ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;at kafka.cluster...
一、背景介绍canal-adapter是canal的客户端适配器，能够直接将canal同步的数据写入到目标数据库（hbase,rdb,es），rdb是关系型数据库比如MySQL、Oracle、PostgresSQL和SQLServer等，比较的快捷方便。本文以MySQL-->canalServer-->kafka-->canalAdaper-->MySQL为例介绍can..
[2022-03-08 15:23:14.742]Container exited with a non-zero exit code 50. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :SLF4J: Class path contains multiple SLF4J
1、关于structed streaming 读取kafka的问题：数据流从kafka过来，根据条件的不同，会被拆分成好几个流式dataFrame，这些流式的DF会进行各种join操作，在这个过程中会随机的触发KafkaConsumer is not safe for multi-threaded access，kafka多线程消费的问题，本程序就只有一个线程，怎么会有多线程消费的问题。在网上..
1、2、3、Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is/jaas.conf4、CanalParseException: parse row data failed. column size is n...
一、canal的message数据格式1、数据的类型包import com.alibaba.otter.canal.protocol.CanalEntry.Column;import com.alibaba.otter.canal.protocol.CanalEntry.Entry;import com.alibaba.otter.canal.protocol.CanalEntry....
一、背景前提公司的MySQL数据库是分库分表的，若要是按照一个库（IP）对应一个实例的话，就需要创建10个实例，而且改动还很不方便，一次需要改10个配置文件。所以查到canal自带这种功能；对于分库分表的MySQL配置的port，username，password，database，table都是一样的，这个是前提条件；最好是用过配置过单实例的。二、配置修改canal.prope...