Kafka 偏移管理：enable.auto.commit 与 enable.auto.offset.store

Question

默认情况下，Kafka Consumer 会定期提交当前偏移量，除非通过禁用enable.auto.commit. 根据文档，您将负责自己提交偏移量。所以当我想要手动控制时，这似乎是要走的路，但是文档还提到了存储的偏移量，如果你想要手动控制，你应该禁用enable.auto.offset.store和使用rd_kafka_offsets_store()并保持自动提交不变。

有人可以解释为什么首选后一种方法吗？禁用自动提交应该具有完全相同的效果吗？

Answer 1

使用enable.auto.commit=truelibrdkafka 将定期、重新平衡和消费者关闭时为每个分区提交最后存储的偏移量。

此处使用的偏移量取自内存中的偏移量存储。此商店将在 时自动更新enable.auto.offset.store=true。

如果您设置了，enable.auto.offset.store=false您可以通过rd_kafka_offsets_store().

这比禁用更可取，enable.auto.commit因为您不必自己定期重新实现调用 commit，而是可以依赖已经内置的逻辑。

您可以手动控制是否以任何方式提交偏移量，但禁用enable.auto.commit和调用commit自己很可能会导致更频繁的提交。