检查Kafka中的所有滞后

Question

我想确保即使我的消费者宕机，我也不会在 Kafka 中丢失任何消息。

如果我有一个小时的日志滚动，如果我的消费者停机超过一小时，我将丢失未被消费的消息。

有没有办法在 Kafka 0.10.2.0 中轻松检查所有分区的所有滞后？

我发现很多方法都没有奏效。

Answer 1

您可以使用 kafka-consumer-groups.sh 命令找出延迟。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group group1

在这个例子中，我是说向我展示 group1 正在收听的所有主题以及延迟是什么，我的消费者在最后几分钟处于关闭状态。它有 4 条待处理的消息，所以这就是我得到的