如何监控Kafka主题中的消息率​​?

mar*_*bfm 6 monitoring apache-kafka anomaly-detection

当某个主题的消息率高于或低于平时,我如何获得提醒?

Mic*_*son 6

Kafka 发出大量指标,可以监控其使用情况和健康状况。这包括传入消息速率的指标,请参阅文档中的监控部分。

您的用例通常是通过处理指标并能够根据用户定义的查询触发警报的工具来实现的。

例如,Prometheus处理得很好。您需要对其进行设置,以便将来自 Kafka 的指标转发到 Prometheus(使用https://github.com/prometheus/jmx_exporter)。由于这是一个非常常见的用例,您会在网上找到数百篇描述如何设置它的文章。JMX 导出器也有Kafka JMX 模式的示例配置

一旦指标在 Prometheus 中,您就可以跨代理聚合它们并设置Alerts