Kafka为分区的多个消费者

sku*_*mar 7 apache-kafka kafka-consumer-api

我有一个生产者,它将消息写入主题/分区.为了维护订单,我想使用单个分区,我希望12个消费者阅读来自这个单独分区的所有消息(没有消费者群体,所有消息应该发送给所有消费者).这可以实现吗?我读了一些论坛,每个分区只有一个消费者可以阅读.

ser*_*jja 14

您可能会SimpleConsumer用来实现您所要求的 - 没有消费者群体,所有消费者都可以阅读单个分区.但是,这种方法意味着您必须自己处理偏移存储和代理故障处理.

另一个选择是使用具有不同消费者组的高级消费者(您可以为每个消费者分配一个随机UUID).这样,您就可以为所有使用者使用一个主题/分区,并能够提交偏移量并处理代理中断.

规则"只有单个消费者可以使用主题/分区"仅适用于消费者组,例如,只有一个消费者IN GROUP可以同时使用一个主题/分区.

  • 是的,如果具有单个分区的主题中包含1000条消息,则具有不同消费者组的所有消费者将分别读取1000条消息. (2认同)