如何从kafka获取组提交偏移量(0.10.x)

Question

该组的偏移信息之前存储在zookeeper中.现在,在Kafka Cluster(0.10.x)中,偏移信息存储在名称为的主题中__consumer_offsets.

但是我怎么能得到我指定的组的偏移信息呢？

Answer 1

对于活动组,请在下面调用命令以检索偏移量:

bin/kafka-consumer-groups.sh --bootstrap-server broker1:9092 --describe --group test-consumer-group

对于非活动组,首先通过计算Math.abs(groupId.hashCode())%50获取目标偏移主题分区号,然后调用:

bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition <calculated number> --broker-list broker1:9092 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

找到组的偏移量.