气流:从新时间表开始重新运行DAG

Ash*_*y O 5 python kubernetes airflow airflow-scheduler

背景故事:我每天都在运行一个Airflow作业,时间是start_date2019年7月1日。收集的作业要求第三方提供每天的数据,然后将这些数据加载到我们的数据库中。

在成功完成工作几天后,我意识到第三方数据源每月仅刷新一次数据。因此,我每天只是下载相同的数据。

那时,我将更改为start_date一年前(以获取前几个月的信息),并将DAG的时间表更改为每月运行一次。

如何(在气流UI中)完全重新启动DAG,以使其能够识别我的新产品start_date和计划,并像DAG一样运行完整的回填?

(我知道可以通过命令行请求该回填。但是,我没有命令行界面的权限,并且管理员无法访问。)

Lar*_*eth 5

单击 Web 界面中相关作业的 Dag Runs 列中的绿色圆圈。这将带您进入所有成功运行的列表。

勾选列表标题左上角的复选标记以选择所有实例,然后在其上方的菜单中选择“已选择”,然后在下拉菜单中选择“删除”。这应该清除所有现有的 dag 运行实例。

如果您的 Airflow 实例上未启用 catchup_by_default,请确保catchup=True在 DAG 上设置它,直到它完成追赶。