小编ken*_*sai的帖子

在通过 Airflow 运行 pySpark SQL 管道时，我有兴趣获取一些业务统计信息，例如：

• 源读取计数
• 目标写入计数
• 处理过程中 DF 的大小
• 错误记录数

一种想法是将其直接推送到指标，因此它会被 Prometheus 等监控工具自动使用。另一个想法是通过一些 DAG 结果对象获取这些值，但我无法在文档中找到任何关于它的信息。

如果您有解决方案，请至少发布一些伪代码。