Kafka提供了Producer类作为java producer的api，该类有sync和async两种发送方式。

afka.common.ConsumerRebalanceFailedException: log-push-record-consumer-group_mobile-pushremind02.lf.sankuai.com-1399456594831-99f15e63 can't rebalance after 10 retriesat kafka.consumer.ZookeeperCons

Java语言的“编译期”是一段“不确定”的操作过程，因为它可能是指一个前端编译器把*.java文件转变成*.class文件的过程；也可能是指虚拟机的后端运行期编译器（JIT编译器，Just In Time Compiler）把字节码变成机器码的过程；还可能是指使用静态提前编译器（AOT编译器，Ahead Of Time Compiler）直接把*.java文件编译成本地机器代码的过程。早期

这几天有空把淘宝开源的tair安装一下，刚开始我是在虚拟机上安装的(内存不大)，所以dataserver.conf配置的内存过小，导致启动不成功。启动初始的slab > 配置设置内存。直接导致内存池初始化就报错。1.下载tairsvn checkout http://code.taobao.org/svn/tair/trunk因为tair用到淘宝网络库tbnet 2.下载 tbne

性能监控在使用操作系统的过程中，我们经常需要查看当前的性能如何，需要了解CPU、内存和硬盘的使用情况； 本节介绍的这几个工具能满足日常工作要求；1. 监控CPU查看CPU使用率$sar -ueg:$sar -u 1 2[/home/weber#]sar -u 1 2Linux 2.6.35-22-generic-pae (MyVPS)06/28/2014i686

测试方法在其他虚拟机上使用 Kafka 自带 kafka-producer-perf-test.sh 脚本进行测试 Kafka 写入性能尝试使用 kafka-simple-consumer-perf-test.sh 脚本测试 Kafka Consumer 性能，但由于获取到的数据不靠谱，放弃这个测试方法性能数据注：Gzip 和 Snappy 的传输速度 MB/S 是通过压缩前数据计

最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台KafkaOff

1. kafka集群副本分布原理分析下面以一个kafka集群中4个broker举例，1个topic分成4个partition，2 replication；数据producer流动如图所示：每个broker都有均等获得partition的leader机会。上述图broker partition中，箭头指向为副本，以partition-0为例:broker1中parition-

1.broker shutdown的时候，partition的leader在此broker上，controller选主没有成功，移除此broker后，对应的partition的leader就被赋值成-1了。2.给此broker发送stopReplicaRequest调用controller.removeReplicaFromIsr，从zk读取当前partition的状态，从isr中移除此b

背景Kafka中由Consumer维护消费状态，当Consumer消费消息时，支持2种模式commit消费状态，分别为立即commit和周期commit。前者会导致性能低下，做到消息投递恰好一次，但很少使用，后者性能高，通常用于实际应用，但极端条件下无法保证消息不丢失。目标在有效期内，保证每条消息至少可被消费一次问题分析请看如上图1，Consumer Thread读取一条消息，更新缓存消费状态，