canal是阿里的一款开源工具，纯java开发，基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。工作原理mysql主备复制实现从上层来看，复制分成三步：master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary logevents，可以通过s

前面已经介绍过了canal-kafka的应用。canal-kafka是把kafka作为客户端，嵌入到canal中，并且在canal基础上对源码进行了修改，以达到特定的实现canal到kafka的传送。canal-kafka是阿里云最近更新的一个新的安装包。主要功能是实现canal与kafka的对接，实现海量的消息传输同步。在canal-kafka中，消息是以ByteString进行传输...

错误日志：Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka consumerat org.apache.kafka.clients.consumer.KafkaConsumer.<i

前面已经介绍过了canal-kafka的应用。canal-kafka是把kafka作为客户端，嵌入到canal中，并且在canal基础上对源码进行了修改，以达到特定的实现canal到kafka的传送。canal-kafka是阿里云最近更新的一个新的安装包。主要功能是实现canal与kafka的对接，实现海量的消息传输同步。在canal-kafka中，消息是以ByteString进行传输...

错误日志：Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka consumerat org.apache.kafka.clients.consumer.KafkaConsumer.<i

本文为自己总结的hadoop-cdh5集群安装（简易版），适合新手首次玩集群使用。本文附带安装包、配置文件等都跟文中配置相同，如有需要请自行修改。本文中介绍的集群均配置在虚拟机中，Linux版本为：CentOS7本文hadoop配置集群为4台：192.168.5.128 hadoop0 主192.168.5.129 hadoo

很多场景下我们都需要使用外网来访问内网中的Elasticsearch集群，比如AWS或者虚拟机等。本文参考Elasticsearch版本6.3.0AWSaws的话比较简单了，内网对应的都有外网映射，我们需要外网访问的话直接访问外网ip就可以了。不过要注意Elasticsearch配置文件中network.host要配置内网的主机名或ip。虚拟机虚拟机的环境相对复杂一...

我们在安装虚拟机时几乎都会使用开机直接进入命令界面来释放内存，不过centOS7 跟其他版本的配制方法有些不同。centOS7 开机直接进入命令界面systemctl set-default multi-user.targetsystemctl set-default graphical.target查看默认targetsystemctl

Kafka在启动一段时间后，如果出现服务自动关闭情况，可在启动kafka的时使用守护进程模式启动，即在原启动命令中加-daemonkafka-server-start.sh -daemon config/server.properties &原因参考：kafka-run-class.sh# Launch modeif [ "x$DAEMON_MODE

两种方法：一、修改配置文件server.properties添加如下配置：delete.topic.enable=true说明：官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turne