小编dat*_*sit的帖子

在 Airflow 中添加 Custom Metrics 规则以通过 prometheus 监控 Airflow-Worker 日志

我想通过 Prometheus 监控我的 Airflow-Worker 日志。目前,我正在发送官方文档 - Airflow-Metrics-docs 中提供的 Airflow-Webserver 指标。因此 statsd 导出器将这些指标发送给 prometheus 进行监控。

有什么方法可以添加自定义规则,以便 Prometheus 也监控我的 Worker 日志。

statsd grafana prometheus airflow airflow-worker

6
推荐指数
0
解决办法
298
查看次数

错误:Gunicorn 大师在 120 秒内没有响应。关闭网络服务器。Airflow-Webserver 服务无法启动

我想在 Prometheus 的帮助下监控我的气流工作日志。所以我在互联网上查找,发现 statsd-exporter 可以帮助我。但是,当我在 Airflow.cfg 中添加 statsd-exporter 所需的配置时,服务不会启动。

气流.cfg文件


[scheduler]
statsd_on = True
statsd_host = xxx.xxx.x.xxx
statsd_port = 9125
statsd_prefix = airflow
Run Code Online (Sandbox Code Playgroud)

当我在 Airflow.cfg 中添加这些行后重新启动服务时,它不会重新启动并在日志中抛出上述错误。

当我删除这些行时,它开始完美。

我通过 pip 安装了 statsd 和 statsd-exporter。任何人都可以提出任何更好的方法来做到这一点。

statsd devops prometheus airflow airflow-scheduler

5
推荐指数
0
解决办法
1676
查看次数