温馨提示: 获得更好阅读体验请访问多图解Kafka中的数据采集和统计机制在讲解kafka限流机制之前我想先讲解一下Kafka中的数据采集和统计机制 你会不会好奇,kafka监控中,那些数据都是怎么计算出来的 比如下图这些指标LogiKM监控图这些数据都是通过Jmx获取的kafka监控指标, 那么我们今天老探讨一下,这些指标都是怎么被计算出来的在开始分析之前,我们可以 自己思...

背景数据压缩，是一种用时间换空间的思想，就是说通过cpu使用率的升高，来降低磁盘空间和网络IO，比如在hadoop中通过DEFLATE、LZ4、Snappy，都是用来做数据压缩的降低数大小，使hadoop整体集群存储能力能耗。在kafka中，数据压缩也是用来做相同事情的。数据的压缩方式Kafka 的消息分为两个层级：消息集合以及消息。一个消息集合中包含若干条日志项，而日志项才是真正封装消息的地方。

背景目前线上环境有200套kafka集群，且kafka的版本有0.10、2.0等版本。需要在不影响业务的情况下迁移到kafka2.5版本。方案结合目前Kafka集群的现状建议采用两个集群数据同步的方式进行迁移，采用数据同步的方式迁移可以不影响Kafka的业务使用方，同时可以使用zookeeper的新版本。具体Kafka迁移方案如下：迁移步骤如下：Ø在部署了Kafka2.5版本的..

一、Broker 端参数1：Broker是需要配置存储信息的，即Broker使用哪些磁盘，针对存储信息的参数如下：log.dirs：指定Broker需要使用的若干个文件目录，这个参数没有默认值，这个需要自己指定。log.dir：他是上一个参数的补充。所以只用设置log.dirs即可。2：一般线上的生产环境中都会给log.dirs指定多个路径，例如：/opt/kafka1,/opt/kafka2,/

Topic官方没有给具体建议数字，我们之前的最佳实践一个集群上有2W+ Topic无压力Partition官方给过一个公式可以参考：每个Broker的Partition数量最好限制在100 × b × r（b是Broker数，r是Partition副本数），滴滴的最佳实践是单节点Parttion不易超过1000个，大量小文件容易导致HDD盘的读写性能下降如果Partiton数过多，对于0.10.X

Apache自从接受LinkedIn捐赠Kafka之后，于2012年1月4日对外正式发布0.7这个版本，10年后的今天，Kafka已经陆续发布了46个版本 仔细研究发现Kafka目前总共演进了7个大版本，分别是0.7、0.8、0.9、0.10、0.11、1.0和2.0，比如2.0大版本中，期间历经了19个小版本，目前2.8.0去除对ZooKeeper的依赖算是一个大的更新 我们整理了一张图，用来阐