小编val*_*val的帖子

制作中的 MWAA - 任务因未知原因而排队

有人在生产中使用 MWAA 吗?

目前,我们有大约 500 个 DAG 正在运行,我们看到了意外的行为,任务由于未知原因而处于“排队”状态。

任务处于“排队”状态,这不是有效的执行状态。必须清除该任务才能运行。

它是随机发生的,可以完美运行一天,然后一些任务将保持排队状态。任务将永远保持这种状态,除非我们手动将它们标记为失败。

即使池是空的,DAG 运行也可以保持在这种“排队”状态,我没有看到任何解释这一点的原因。

大约 5% 的任务会发生这种情况,而其他所有任务都运行顺利。

您遇到过这种行为吗?

airflow airflow-scheduler mwaa airflow-2.x

7
推荐指数
1
解决办法
2834
查看次数

标签 统计

airflow ×1

airflow-2.x ×1

airflow-scheduler ×1

mwaa ×1