每个分区只能由同一个消费者组内的一个 Consumer 实例来消费

Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程,

也可以是同一进程下的线程。在实际场景中,使用进程更为常见一些。


Consumer Group 下所有实例订阅的主题的单个分区,只能分配给组内的某个 Consumer 实例消费。这个分区当然也可以被其他的 Group 消费。

如果所有实例都属于同一个 Group,那么它实现的就是消息队列模型;

如果所有实例分别属于不同的 Group,那么它实现的就是发布 / 订阅模型。


理想情况下,Consumer 实例的数量应该等于该 Group 订阅主题的分区总数。

消费者在消费的过程中需要记录自己消费了多少数据,即消费位置信息。

在 Kafka 中,这个位置信息有个专门的术语:位移(Offset)。

首先,Rebalance 过程对 Consumer Group 消费过程有极大的影响。如果你了解 JVM 的垃圾回收机制,你一定听过万物静止的收集方式,即著名的 stop the world,简称 STW。在 STW 期间,所有应用线程都会停止工作,表现为整个应用程序僵在那边一动不动。Rebalance 过程也和这个类似,在 Rebalance 过程中,所有 Consumer 实例都会停止消费,


等待 Rebalance 完成。这是 Rebalance 为人诟病的一个方面。

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐