小编Mic*_*ael的帖子

Airflow 通过 statsd 发送指标,但不是全部

最近我更新了airflow.cfg 以启用Statsd 指标。

我已将此设置注入到airflow.cfg中:

我正在注入这个配置:

AIRFLOW__SCHEDULER__STATSD_ON=True
AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME
AIRFLOW__SCHEDULER__STATSD_PORT=9125
AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow
Run Code Online (Sandbox Code Playgroud)

我没有使用标准的 Statsd 服务,而是使用 Statsd 协议的Statsd-exporter,因此据我所知,我可以直接指向 Airflow 将指标发送到 Stats-exporter。默认情况下,它在 9125 端口上工作。

Statsd-exporter 收到指标后,Prometheus 能够定期抓取它们。

一切都好,一切都好。此外,我将映射文件制作到 Statsd-exporter,其中使用了一些正则表达式,但是......我的问题是,当我打开 Statsd-exported(9102 端口)的 WEB UI 时,我看到了部分气流指标,但不是全部!.

文档说明了此处的指标列表

例如,我看到 Airflow 发送:ti_failures、ti_successes、dagbag_size 等。但是完全没有诸如:dag...duration 或 executor.open_slots 等指标。

非常感谢所有玩过 Statsd 和 Airflow 的人,因为我不知道:(

statsd airflow

5
推荐指数
1
解决办法
4681
查看次数

AWS EBS 快照问题

我写这篇文章是因为我对负责拍摄 EBS 快照的机制感到非常困惑。

  1. 首先,据我了解“备份”和“快照”之间的区别 - 备份是卷块一对一的完整副本,其中快照是“增量”方法,其中仅复制更改的块,对吧?

  2. 如果这个定义是正确的,那么我可以假设拍摄 EBS 快照应该称为备份 - 因为我们通常会完整复制特定 EBS 所构建的所有块。

  3. 在AWS网站上的几乎每个文档中,我都可以读到EBS快照是增量拍摄的(第一个快照已满,然后仅与之前的“状态”之间存在差异)。但在我在 AWS 控制台上进行了小练习之后,我无法看到它的实际效果。

我对我的 EBS 卷 (50GB) 做了快照,快照的大小正好是 50GB。我又做了一个快照——大小同样是 50GB。这让我难以置信的困惑:///

  1. 我的所有经验/测试都是仅使用根卷(首先附加到 EC2 实例)进行的。现在我想知道我是否在仅附加根卷的 EC2 上安装了数据库(postgreSQL),在机器运行时制作 EBS 快照(作为我的数据库的安全备份)是否安全?或者不幸的是,我应该定期使整个实例脱机,然后只备份我的数据库卷?

snapshot amazon-ebs amazon-web-services

2
推荐指数
1
解决办法
922
查看次数