Kafka MirrorMaker2 自动消费者偏移同步

Question

我正在使用 MirrorMaker2 进行灾难恢复。

Kafka 2.7 应支持 自动消费者偏移同步

这是我正在使用的 yaml 文件（我使用 strimzi 来创建它）

所有源集群主题都会复制到目标集群中。另外...checkpoint.internal主题是在目标集群中创建的，其中包含同步的所有源集群偏移量，但我没有看到这些偏移量被转换为目标集群_consumer_offsets主题，这意味着我何时将在目标中启动消费者（同一消费者组） cluster 它将从头开始读取消息。

我的期望是，在允许自动消费者偏移量后，同步来自翻译并存储在目标集群中的 _consumer_offsets 主题中的源集群的所有消费者偏移量。

有人可以澄清我的期望是否正确，如果不正确，它应该如何运作。

Answer 1

该sync.group.offsets.enabled设置适用于MirrorCheckpointConnector.

我不完全确定 Strimzi 如何运行 MirrorMaker 2，但我认为您需要将其设置为：

checkpointConnector:
  config:
    checkpoints.topic.replication.factor: 1
    sync.group.offsets.enabled: "true"