logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kafka分区分配策略以及重平衡过程总结

1.RangeAssignor分配策略(kafka默认的分区策略)partition.assignment.strategy=org.apache.kafka.clients.consumer.RangeAssignor按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀地分配给所有的消费者。该策略会将消费者组内所有订阅这个主题的消费者按照名称的

#java#kafka
Kafka的ISR概念及Leader和follower数据同步机制

1.Replicakafka的broker端每个partition都会有多个副本(replica),至少有一个leader领导者副本以及多个follower追随者副本(可配置),分区接收消息以及消费消息都会在leader中进行,而follower副本的作用就是备份leader中的消息,它们会定时的从leader中拉取最新数据,从而尽可能的保证和leader的同步。1.什么是ISR?分区中的所有副本

#java#kafka
详解Kafka的高水位(HW)和Leader Epoch

1.回顾ISR2.介绍HW3.HW的作用4.leader副本和follower副本是如何通过HW进行同步的,以及这样会有什么问题。5.Leader Epoch的作用6.Leader Epoch是如何解决消息丢失和消息不一致的问题的。

#kafka#java#分布式
到底了