小编Sud*_*san的帖子

Kafka:多个实例中的单个消费者群体

我正在为我们的应用程序实现基于Kafka的解决方案.根据Kafka文档,我理解的是消费者组中的一个消费者(这是一个线程)内部映射到订阅主题中的一个分区.

假设我有一个包含40个分区的主题,并且我有一个在4个实例中运行的高级消费者.我不希望一个实例使用另一个实例消耗的相同消息.但是如果一个实例发生故障,其他三个实例应该能够处理所有消息.

  • 我应该为每个实例使用10个线程的同一个消费者组吗? - Stackoverflow表示实例之间的同一个使用者组充当传统的同步队列机制

在Apache Kafka中,为什么不能有比分区更多的消费者实例?

  • 或者我应该为每个实例选择不同的消费者群体吗?

使用简单的使用者或低级别的使用者可以控制分区,但是如果一个实例关闭,其他三个实例将不会处理来自第一个实例中使用的分区的消息

java apache-kafka kafka-consumer-api

5
推荐指数
1
解决办法
4332
查看次数

标签 统计

apache-kafka ×1

java ×1

kafka-consumer-api ×1