Kafka,不同分区会有相同的偏移量吗

mrm*_*one 5 apache-kafka kafka-consumer-api

我有一个 Kafka 主题和该主题的五个分区。将有5个消费群体。每个消费者组都有一个从该主题消费的服务实例。

Kafka 中同一条记录的每个消费者的偏移量是否相同?

Bit*_*sky 2

通过偏移,如果您指的是消息的顺序,那么是的。对于所有消费者来说都是一样的,因为订购是由生产商和经纪人决定的。因此,如果主题中有msg-1msg-2、...、msg-1000 ,则所有 5 个消费者都将按该特定顺序消费这些消费者。但消费率可能会有所不同。它有很多变量(例如网络延迟、网络拓扑、消费者逻辑等)来决定消费率。

  • 如果您将此主题的复制因子设置为 1,则一条消息将仅发送到一个分区。如果不止一个,则选择一个副本作为领导者,其他副本成为追随者。领导者从生产者那里获取写入,而追随者只是按顺序复制消息。因此,在这种情况下,相同的消息将具有相同的偏移量。但我认为这对你的问题没有任何影响。因为副本仅在存在故障转移场景时使用。 (2认同)