dagrun_timeout 会在回填/清除旧 DAG 时产生干扰吗？

Question

我有一个如下所示的 DAG，dagrun_timeout设置为 4 小时。当我进入 UI 并清除从 start_date 到现在的所有任务时，所有 DAG 都设置为运行状态。

4 小时后，任何未将自身标记为成功的 DAG 将被标记为失败，即使它们尚未实际启动。我想知道这是否是有意的行为。

如果我想以这种方式重新运行 DAG，我是否应该删除dagrun_timeout并在任务级别设置超时？或者airflow backfill如果我想在不dagrun_timeout干扰的情况下重新运行所有 DAG，我应该使用它吗？

理想情况下，我希望能够使用 UI，因为其他团队成员希望重新运行 DAG。

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2019, 5, 1),
    'email': ['lol@example.com'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=1),
}


dag = DAG(
    dag_id='example_dag',
    default_args=default_args,
    max_active_runs=8,
    schedule_interval='15 * * * *',
    dagrun_timeout=timedelta(minutes=60*4),
)

Answer 1

我认为这是预期的行为，但只是一个误导性的参数名称。之前已经在邮件列表上讨论过，请参阅https://lists.apache.org/thread.html/7bda30f518bedbaaa763ba73a5e3bbe386cb0d090834c819f81c65ec@%3Cdev.airflow.apache.org%3E。

将超时移至任务级别是一个公平的选择，只需理解它会有点不同，因为您可能希望确定每个任务的合理超时。如果在普通（非回填）场景中 DAG 运行时间超过 4 小时时收到警报至关重要，那么我会为所有任务添加 4 小时的 SLA。当您清除回填任务时，它会立即触发 SLA 未命中，但至少它们应该同时批量发生，并且不会导致运行失败。