比如，在成功消费一条消息后，你又把消费的offset重置到之前的某个offset位置，那么你将收到从那个offset到最新的offset之间的所有消息。想要开启这个特性，获得每个分区内的精确一次语义，也就是说没有重复，没有丢失，并且有序的语义，每个log文件默认是1GB生成一个新的Log文件，比如新的log文件中第一条的消息的offset 16933，则此log文件的命名为：00000000000

1. 我们可以向Kafka发布数据以及从Kafka订阅数据，即我们可以将Kafka看作是一个消息队列或者企业消息系统。所起的作用：缓冲（消峰限流），实现生产与消费的解耦。可以通过远程拷贝，将01的Kafka发送给02，03，更改broker.id即可。3. 当数据到达Kafka之后，可以马上的被消费处理。即Kafka的延迟很低。3.在kafka中每一条记录包含一个key，一个value以及一个时间

但如果仅仅是发送文件数据，则 copy 4 次是没有意义的，并且还是产生 4 次内核态和用户态的切换，这些都需要小号CPU性能的。表面上一个很简单的网络文件输出的过程，在OS底层，会发现数据会被拷贝4次。上图中，如果要对文件数据修改，则只能在用户态的缓冲区修改，所以需要拷贝4次。3. Kafka的传输性能高，因为底层使用Zero Copy技术。1. Kafka的写入性能高：因为底层是磁盘顺序写。2

ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。所以基于上述的一些问题,开源实时日志分析 ELK 平台能够完美的解决， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是。1. 所谓数