使用某些指标导出器+ Prometheus + Grafana监视日志文件

Question

我需要监视非常不同的日志文件以查找错误,成功状态等.我需要使用Prometheus获取相应的指标并在Grafana中显示并设置一些警报.普罗米修斯+格拉法纳是好的我已经使用不同的导出器如node_exporter或mysql_exporter等使用它们.在新的Grafana 4.x中提醒也很有效.

但是我找到合适的导出器/程序来解决日志文件并"从中提取"并从中提取指标时遇到了很大问题.

到目前为止我试过:

• mtail(https://github.com/google/mtail) - 工作但现有版本无法轻松监控更多文件 - 一般情况下它无法将特定的mtail程序(收据分析)绑定到某些特定的日志文件+我无法轻松添加日志文件命名为标签
• grok_exporter(https://github.com/fstab/grok_exporter) - 工作但我只能提取有限的信息+一个实例只能监控一个日志文件,这意味着我必须启动更多实例导出更多端口并配置所有关闭它们在普罗米修斯 - 这会产生太多新的失败点
• 流利的prometheus出口商(https://github.com/kazegusuri/fluent-plugin-prometheus) - 工作,但看起来我只能提取非常简单的指标,我不能对日志文件中的行进行任何高级正则表达式分析

这里有没有一个真正运行的解决方案,使用"some exporter"+ Prometheus + Grafana来监控日志文件中的高级指标？或者代替出口商一些程序,我可以使用Prometheus推送网关获取结果.谢谢.

Answer 1

看看Telegraf吧.它使用输入插件logparser和tail支持拖尾日志.要将指标导出为prometheus端点,请使用prometheus_client输出插件.您也可以申请快速聚合.我发现配置多个日志文件比使用grok_exporter或mtail更简单