如何在消费者组kafka中动态添加消费者

Question

我应该如何知道何时必须扩展消费者群体中的消费者。当有一个快速的生产者时，消费者扩大规模的触发因素是什么？

Answer 1

在Kafka中创建主题时，需要提供分区数和复制因子。

假设有一个名为TEST的主题的主题，有 10 个分区，为了并行消费数据，需要创建有 10 个消费者的消费者组，其中每个消费者将消费各自分区中的数据。

这里有一个问题，如果主题有10 个分区，消费者组有12 个消费者，那么两个消费者保持空闲状态，直到其中一个消费者死亡。

如果主题有 10 个分区，消费者组有8 个消费者，那么6 个消费者将消费来自 6 个分区的数据（一个消费者->一个分区），而剩下的两个消费者将负责消费来自两个分区的数据（一个消费者-> 2 个分区）。这意味着最后两个消费者消费了四个分区的数据。

因此，首先要确定您的 kafka 主题的分区数量，更多的分区意味着更多的并行性。

每当向消费者组添加或删除任何新消费者时，kafka 都会负责重新平衡。