简介  本篇主要介绍canal的HA集群的搭建过程，以及结合自身使用过程的一些经历介绍一些注意事项。1. 集群的搭建  HA集群主要使用zookeeper来作为一些metadata的存储基地，以便于满足集群信息的共享。下面我们开始介绍集群搭建的步骤。1.1 机器准备mysql: 10.9.15.227:3316 用户:user_canal 密码:pass_can...

问题描述  最近线上的一个数据服务(服务B)出现了一个比较诡异的问题 ，该服务消费上游服务(服务A)产生的kafka消息数据，上线后一直运行平稳，最近一周在两次上线的时候出现了大量数据更新的情况，查看服务日志发现每次都从kafka的起始位置进行消费了，而kafka topic的数据一般是保留最近7天，但是这是不应该发生的，因为监控显示服务B在重启前是没有什么延迟的，更加不可能说是有7天的延迟，而且

文章目录1. 在logstash中配置es的域名无法使用2. logstash.yml配置不生效1. 在logstash中配置es的域名无法使用output {elasticsearch {hosts => ["http://estest_hostmy.com:10200"]index => "%{[@metadata][index_0]}-%{+YYYY.MM.dd}"}}报错如下1

ES : 7.5.0ES集群新增节点无法加入集群timed out while waiting for initial discovery state - timeout: 30s  ES集群需要增加专用的master节点，加入完master节点需要修改data节点的elasticsearch.yml为专用的data节点并重启。这里出现了一个问题，在data节点重启后无法加入cluster当中，自

使用G1后报错Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too large, data for [<transport_request>]ES: 7.5.0今天在优化ES的GC配置的时候又踩了坑，因为之前在7.1上使用过G1，感觉效果还不错，这次的7.5上也就直