Kafka Connect 警报选项?

cla*_*lay 5 apache-kafka apache-kafka-connect

对于 Kafka Connect 连接器或连接器任务失败或遇到错误的场景,是否有任何警报选项?

我们运行了 Kafka Connect,它运行良好,但我们遇到了需要手动跟踪和发现的错误。通常,在人类注意到问题之前,它已经处于错误状态一个星期。

cla*_*lay 1

自从撰写/回答这篇文章以来,Kafka Connect 开始提供自己的官方指标。Apache Kafka Connect 提供传统 JMX 格式的指标。

如果您使用 Confluence Kafka Connect Helm Charts ( https://github.com/confluenceinc/cp-helm-charts/tree/master/charts/cp-kafka-connect ),它们包含一个 Prometheus 指标导出器。

我通过 Confluence Helm Chart Prometheus 图表进行监控和警报cp_kafka_connect_connect_connector_metrics{status="running"},但有很多变化。

对于任何自动监控+警报设置来说,使用官方 Kafka Connect 指标通常更可取。当这篇文章撰写+回答时,此选项不可用。

仅供参考,Kafka 仍然没有公开延迟指标,因此您仍然需要第三方选项来监控延迟并发出警报。