con*_*lee 5 airflow airflow-scheduler
我已经安排了每天运行的DAG。在大多数情况下,调度程序会在execution_date完成后即第二天立即触发此作业。但是,由于上游的延误,我只希望在execution_date之后的三天内开始dag运行execution_date。换句话说,我想介绍三天的延迟。
根据我所做的研究,一种方法是TimeDeltaSensor在运行dag的开头添加一个delta=datetime.timedelta(days=3)。
但是,由于采用了气流调度程序的方式,因此存在问题。在这种方法下,我的每个DAG运行都将持续三天以上。我的DAG有很多任务,并且如果有几个DAG运行处于活动状态,我注意到调度程序会吞噬大量CPU,因为它会不断迭代所有这些任务(甚至是非活动任务)。那么,还有另一种方法可以告诉调度程序在经过三天之后才开始DAG运行吗?
| 归档时间: |
|
| 查看次数: |
838 次 |
| 最近记录: |