相关疑难解决方法(0)

Airflow DAG 循环 - 如何使每次迭代顺序而不是并行

我有一个 Apache Airflow DAG,如下所示:

DAG_NAME='my_dag'
sections = ["0", "1", "2", "3"]

with DAG(DAG_NAME, default_args=default_args, schedule_interval=None) as dag:

        for s in sections:
            a = DummyOperator(task_id=f"section_{s}_start")
            b = SubDagOperator(task_id=f"init_{s}_subdag",subdag=init_section(DAG_NAME,f"init_{s}_subdag", default_args))
            c = SubDagOperator(task_id=f"process_{s}_subdag", subdag=process_section(DAG_NAME,f"process_{s}_subdag", default_args))
            d = SubDagOperator(task_id=f"update_{s}_subdag", subdag=update_section(DAG_NAME,f"update_{s}_subdag", default_args))
            e = DummyOperator(task_id=f"section_{s}_end")
            a>>b>>c>>d>>e
Run Code Online (Sandbox Code Playgroud)

这段代码像这样呈现我的任务在此输入图像描述

在此输入图像描述

我怎样才能使任务顺序为:

section_0_start>>init_0_subdag>>process_0_subdag>>update_0_subdag>>section_0_endsection_0_end>>section_1_startsection_1_start>>init_1_subdag>>process_1_subdag>>update_1_subdag>>section_1_end

……

依此类推,从第 0 部分开始,以第 3 部分任务结束

谢谢

directed-acyclic-graphs airflow

4
推荐指数
1
解决办法
3840
查看次数

标签 统计

airflow ×1

directed-acyclic-graphs ×1