最近我更新了airflow.cfg 以启用Statsd 指标。
我已将此设置注入到airflow.cfg中:
我正在注入这个配置:
AIRFLOW__SCHEDULER__STATSD_ON=True
AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME
AIRFLOW__SCHEDULER__STATSD_PORT=9125
AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow
Run Code Online (Sandbox Code Playgroud)
我没有使用标准的 Statsd 服务,而是使用 Statsd 协议的Statsd-exporter,因此据我所知,我可以直接指向 Airflow 将指标发送到 Stats-exporter。默认情况下,它在 9125 端口上工作。
Statsd-exporter 收到指标后,Prometheus 能够定期抓取它们。
一切都好,一切都好。此外,我将映射文件制作到 Statsd-exporter,其中使用了一些正则表达式,但是......我的问题是,当我打开 Statsd-exported(9102 端口)的 WEB UI 时,我看到了部分气流指标,但不是全部!.
文档说明了此处的指标列表
例如,我看到 Airflow 发送:ti_failures、ti_successes、dagbag_size 等。但是完全没有诸如:dag...duration 或 executor.open_slots 等指标。
非常感谢所有玩过 Statsd 和 Airflow 的人,因为我不知道:(
我写这篇文章是因为我对负责拍摄 EBS 快照的机制感到非常困惑。
首先,据我了解“备份”和“快照”之间的区别 - 备份是卷块一对一的完整副本,其中快照是“增量”方法,其中仅复制更改的块,对吧?
如果这个定义是正确的,那么我可以假设拍摄 EBS 快照应该称为备份 - 因为我们通常会完整复制特定 EBS 所构建的所有块。
在AWS网站上的几乎每个文档中,我都可以读到EBS快照是增量拍摄的(第一个快照已满,然后仅与之前的“状态”之间存在差异)。但在我在 AWS 控制台上进行了小练习之后,我无法看到它的实际效果。
我对我的 EBS 卷 (50GB) 做了快照,快照的大小正好是 50GB。我又做了一个快照——大小同样是 50GB。这让我难以置信的困惑:///