小编Leo*_*ias的帖子

具有不同调度程序间隔的气流ExternalTask​​Sensor

目前我有两个 DAG:DAG_A 和 DAG_B。两者都运行schedule_interval=timedelta(days=1)

DAG_A 有一个 Task1,通常需要 7 小时才能运行。而DAG_B只需要3个小时。

DAG_B 有一个ExternalTaskSensor(external_dag_id="DAG_A", external_task_id="Task1"),但也使用一些每小时生成的其他信息 X。

增加 DAG_B 频率使其每天至少运行 4 次的最佳方法是什么?据我所知,两个 DAG 必须具有相同的 Schedule_interval。但是,我想尽可能更新 DAG_B 上的 X。


一种可能性是创建另一个具有 DAG_B 的ExternalTask​​Sensor 的 DAG。但我不认为这是最好的方法。

airflow airflow-scheduler

4
推荐指数
1
解决办法
4856
查看次数

标签 统计

airflow ×1

airflow-scheduler ×1