一个kafka topic可以处理多少个消费者群体？

Question

假设我有一个大约有 10 个分区的 kafka 主题，我知道每个消费者组应该有 10 个消费者在任何给定时间从该主题中读取数据，以实现最大并行度。

然而，我想知道对于一个主题在任何给定时间点可以处理的消费者组的数量是否也有任何直接的规则。（最近在一次采访中我被问到了这个问题）。据我所知，这取决于代理的配置，以便它在任何给定时间点可以处理多少个连接。

但是，只是想知道在给定时间点可以扩展多少个最大消费者组（每个消费者组有 10 个消费者）？

Answer 1

正如上面所说，最多几千个应该没问题。对于那些将登陆这里（像我一样）想知道数千个连接（例如将 IoT 设备直接连接到 kafka）的人来说，kafka 似乎不是为此设计的，至少根据此博客。

Answer 2

在 Kafka 中，对于特定主题可以实例化的消费者组的数量没有明确的限制。但是，您应该意识到，消费群体越多，对网络利用率的影响就越大。

Answer 3

从概念上讲，您可以将消费者组视为恰好由多个进程组成的单个逻辑订阅者。作为一个多订阅者系统， Kafka 自然支持给定主题拥有任意数量的消费者组 ，而无需复制数据（额外的消费者实际上相当便宜）。

正如 Kafka 0.9 的 API 文档中给出的那样，Kafka 可以支持给定主题的任意数量的消费者组。