相关疑难解决方法(0)

如何防止气流回填dag运行?

假设你有一个气流DAG是没有意义回填,这意味着,它的运行一次后,运行它随后的时间很快就完全没有意义的.

例如,如果您从一些仅每小时更新一次的数据库加载数据到数据库中,那么快速连续发生的回填只会一次又一次地导入相同的数据.

当您实例化一个新的每小时任务时,这尤其令人讨厌,并且它会在N您指定的时间间隔内开始运行之前,每小时都会错过一次,执行冗余工作.

我能想到的唯一解决方案是他们在文档的常见问题解答中特别建议

我们建议不要将动态值用作start_date,尤其是datetime.now()因为它可能非常混乱.

有没有办法禁用DAG的回填,或者我应该怎么做?

python scheduled-tasks airflow

44
推荐指数
3
解决办法
2万
查看次数

标签 统计

airflow ×1

python ×1

scheduled-tasks ×1