Offset commit failed on partition xxxxxxxxxx at offset 25: The coordinator is not aware of this member.

分区xxxxxxxxxx上位于偏移量25的偏移量提交失败:协调器不知道这个成员。

 

之所以会出现这个问题,是我在配置文件中将消费者设置为批量消费:

#是否设置为批量消费,默认是否
spring.kafka.listener.type=batch

 之前的 消费群组是 studentGroup

 但是这里使用批量消费,然后手动提交的时候,使用的消费群组也是 studentGroup ,这就和之前的消费群组产生了冲突,导致偏移量提交失败。

新产生的偏移量和之前保存的偏移量产生了冲突。

 

解决方式:

给新的批量消费群组定义另外一个 消费组名称, studentGroupBatch

 

各个消费者组,独立消费,互不影响,

对同一个topic 而言,

groupA 消费了 20-30 的数据

groupB 仍然可以消费 20-30 的数据

 

 

 

 

 

Logo

大数据从业者之家,一起探索大数据的无限可能!

更多推荐