气流-如何忽略回填中成功完成的任务？

Question

我已经在DAG中添加了新任务，它需要回填它们。目前，当我运行airflow backfill它时，它将运行所有任务（新任务和旧任务），而我想忽略已经成功的旧任务。

有什么方法可以在回填中跳过具有成功状态的任务？

Answer 1

从Airflow 1.8.1版开始，不应通过回填来安排成功的任务，请参阅AIRFLOW-1124。

请注意，您还可以指定要在回填中运行的任务：

-t TASK_REGEX, --task_regex TASK_REGEX
                    The regex to filter specific task_ids to backfill
                    (optional)

如果新任务依赖于任何可能未成功完成的旧任务，则忽略依赖关系标志也可能对您有所帮助。

-i, --ignore_dependencies
                    Skip upstream tasks, run only the tasks matching the
                    regexp. Only works in conjunction with task_regex