如何确定Kafka消费者的抵消额

Question

我们遇到一个问题,即Kafka消费者似乎没有收到发布到主题的消息.(我说似乎我还没有到底,我可能是错的.)

我使用Spring for Apache Kafka,我的消费者实际上是一个带注释的方法@KafkaListener.

这个问题是间歇性的,我无法重新创建它.

有没有办法让我查看Kafka经纪人的日志,或任何其他工具,以帮助我找到我的消费者的抵消？我想要具体的证据表明我的消费者正在接收消息.

Answer 1

看看kafka-consumer-groups工具,它可用于检查消费者的偏移和滞后(消费者必须在您运行此命令时处于活动状态).

./kafka-consumer-groups --bootstrap-server 127.0.0.1:9092 --new-consumer --describe --group console-consumer-55936

GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
console-consumer-55936         test                           0          6               6               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           1          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           2          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           3          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           4          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           5          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           6          1               1               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           7          2               2               0               consumer-1_/192.168.0.83
console-consumer-55936         test                           8          1               1               0               consumer-1_/192.168.0.83

这应该允许您跟踪是否实际消耗了任何东西.