如何确保我的气流 DAG 一天运行一次？

Question

我想将 DAG 设置为一次运行一天。我怎样才能做到这一点？

我试过“取决于过去=真”，但它只能确保每个任务随后运行。我想要的是，如果我从 X 天开始回填，那么 X 天的所有任务都会在 X+1 天的 DAG 开始之前运行，依此类推。

Answer 1

您可以使用max_active_runs来控制活动 dag 运行的次数。将其限制为一个应该可以满足您的用例。

dag = airflow.DAG(
    'customer_staging',
    schedule_interval="@daily",
    dagrun_timeout=timedelta(minutes=60),
    template_searchpath=tmpl_search_path,
    default_args=args,
    max_active_runs=1)

Answer 2

查看此页面。
您可以使用以下内容设置 Schedule_interval：0 0 * * *。如果您在几天前
设置了start_date，airflow 将首先回填您之前的所有任务，然后根据 运行计划。catchup_by_default = Trueschedule_interval