Apache Kafka：消费者组复制

Question

我想知道是否有一种快速的方法来复制 Kafka 消费者组。假设有一个消费者组：test_cosnumer_group_a我想要另一个test_consumer_group_b具有相同属性（主题、偏移量等）的消费者组

有没有一种简单的方法可以实现这一目标？

Answer 1

如果使用confluence 的脚本，您将拥有kafka-consumer-groups而不是kafka-consumer-manager.

您可以将偏移量从消费者组导出到 csv 文件，然后将其恢复到另一个消费者组：

bin/kafka-consumer-groups \
  --bootstrap-server $KAFKA \
  --export --group $FROM_GROUP_NAME --topic $TOPIC \
  --reset-offsets --to-current \
  --dry-run > offsets.txt

bin/kafka-consumer-groups \
  --bootstrap-server $KAFKA \
  --execute --group $TO_GROUP_NAME \
  --reset-offsets --from-file offsets.txt

归功于另一个SO问题：/sf/answers/4019678211/

Answer 2

您可以使用kafka-utils来将特定消费者组的元数据复制到新消费者组中。根据GitHub 上的文档，

使用者组可以使用子命令将元数据复制到新组中 copy_group。

$ kafka-consumer-manager --cluster-type=test copy_group my_group1 my_group2