从kafka 0.9读取消费者偏差的工具

Question

我正在使用Kafka 0.9消费者API.我需要检查给定使用者组和主题的消费者的当前偏移量,并且没有找到任何列出此信息的命令行工具.我尝试了以下命令

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group <group_name> 

但这并未列出消费者,即使我有消费者在运行/投票.

基于Kafka 0.9新的消费者api ---如何仅仅观看消费者抵消似乎有这方面的命令行工具,但我不知道这是否适合Kafka 0.9消费者.

任何帮助,将不胜感激.

Answer 1

这对我有用:

bin/kafka-consumer-groups.sh --new-consumer --describe --group ta-services --bootstrap-server localhost:9092

并给出这样的结果:

GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER
ta-services, modsec_logs, 0, 2, 2, 0, instance1-0_/127.0.0.1
ta-services, modsec_logs, 1, 9, 9, 0, instance1-0_/127.0.0.1
ta-services, modsec_logs, 2, 1, 1, 0, instance1-1_/127.0.0.1
ta-services, modsec_logs, 3, 1, 1, 0, instance1-1_/127.0.0.1

请记住,此命令似乎仅在您的消费者处于活跃状态时才起作用.一旦你停止它 - 你将不会从命令获得任何输出.我认为这是0.9.x对0.8.x的偏移检查器的缺点之一.我找不到一种方法来检查0.9中"死"消费者的偏移(通过脚本,无需手动读取_offsets ...主题的数据) - 如果有人知道如何做,请发布!