尽管重试= 0，但气流任务在失败后重试

Question

我有一个在 Cloud Composer 上运行的 Airflow 环境（3 个n1-standard-1节点；图像版本：composer-1.4.0-airflow-1.10.0；配置覆盖：核心catchup_by_default=False；PyPI 包：）kubernetes==8.0.1。

在 DAG 运行期间，一些任务（所有 GKEPodOperator）由于气流工作器 pod 驱逐而失败。所有这些任务都设置为retries=0. 其中之一被重新排队并重试。当任务设置为 0 重试时，为什么会发生这种情况？为什么它只会发生在其中一项任务上？

Answer 1

“气流工作 Pod 驱逐”意味着某些 Pod 需要更多资源，因此某些 Pod 被驱逐。

要解决此问题，您可以使用更大的机器类型或尝试减少 DAG 内存消耗。

查看他的文档以获得更好的了解。