Kafka Connect 消费者组滞后指标？

Question

我有一个 Kafka Connect 接收器正在运行。我想监控这个延迟。

我可以通过 shell 进入代理并使用kafka-consumer-groups如下工具来手动获取延迟：

unset JMX_PORT; /usr/bin/kafka-consumer-groups --bootstrap-server localhost:9092 --group connect-<my-kafka-connect-connector> --describe

这会给我类似的东西：

GROUP                                 TOPIC                 PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                                             HOST            CLIENT-ID
connect-<my-kafka-connect-connector>  <my-topic>            0          1414248272      2775658553      1361410281      connector-consumer-<my-kafka-connect-connector>-<uuid>                                  /<my-host-ip>   connector-consumer-<my-kafka-connect-connector>-0

这就是我想要的滞后信息，但我希望将其放在 Prometheus 指标中，我可以将其放在仪表板上并进行监控和设置警报。

我正在获取 Kafka Broker 指标和 Kafka Connect 指标，这两个指标似乎都没有此信息。curl我已经用和遍历了 Prometheus 指标输出，grep但不存在此信息。

我通过官方 Confluence Helm 图表（https://github.com/confluenceinc/cp-helm-charts/tree/master/charts/cp-kafka-connect）运行 Kafka Connect，并使用默认的 Prometheus 指标导出。这有效，我可以获得基本指标，但没有有关滞后的信息：

GROUP                                 TOPIC                 PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                                             HOST            CLIENT-ID
connect-<my-kafka-connect-connector>  <my-topic>            0          1414248272      2775658553      1361410281      connector-consumer-<my-kafka-connect-connector>-<uuid>                                  /<my-host-ip>   connector-consumer-<my-kafka-connect-connector>-0

我看到如下第三方附加组件： https://github.com/lightbend/kafka-lag-exporter

这似乎完全符合我的要求，但除非绝对必要，否则我不想在我的生产设置中添加另一个第三方组件。我真的需要第三方实用程序才能获得如此基本的东西吗？如果需要第三方工具，我是否应该评估或考虑类似的第三方实用程序？