什么命令显示Kafka中所有主题和分区的偏移量？

Question

我正在寻找一个显示所有主题和分区偏移的Kafka命令.如果它是动态的将是完美的.现在我正在使用java代码查看这些信息,但这非常不方便.

Answer 1

Kafka附带了一些可用于实现此目的的工具.

列出主题:

# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
test_topic_1
test_topic_2
...

列出分区和偏移量:

# ./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group test_group --topic test_topic --zookeeper localhost:2181
Group           Topic                  Pid Offset          logSize         Lag             Owner
test_group      test_topic             0   698020          698021          1              test_group-0
test_group      test_topic             1   235699          235699          0               test_group-1
test_group      test_topic             2   117189          117189          0               test_group-2

0.9(及更高版本)消费者API的更新

如果您正在使用新的api,那么您可以使用一种新工具:kafka-consumer-groups.sh.

./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group count_errors --describe
GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
count_errors                   logs                           2          2908278         2908278         0               consumer-1_/10.8.0.55
count_errors                   logs                           3          2907501         2907501         0               consumer-1_/10.8.0.43
count_errors                   logs                           4          2907541         2907541         0               consumer-1_/10.8.0.177
count_errors                   logs                           1          2907499         2907499         0               consumer-1_/10.8.0.115
count_errors                   logs                           0          2907469         2907469         0               consumer-1_/10.8.0.126

Answer 2

你可能想试试kt.它也比捆绑快kafka-topics.

这是您可以通过kt获得的当前最完整的信息描述:

kt topic -brokers localhost:9092 -filter my_topic_name -partitions -leaders -replicas

它还输出为JSON,因此您可以将其管道以jq获得进一步的灵活性.

Answer 3

如果有人感兴趣，您可以使用以下命令获得所有消费者组的偏移量信息：

kafka-consumer-groups --bootstrap-server localhost:9092 --all-groups --describe

参数 --all-groups可从 Kafka 2.4.0 获得