Ash*_*y O 5 python kubernetes airflow airflow-scheduler
背景故事:我每天都在运行一个Airflow作业,时间是start_date2019年7月1日。收集的作业要求第三方提供每天的数据,然后将这些数据加载到我们的数据库中。
在成功完成工作几天后,我意识到第三方数据源每月仅刷新一次数据。因此,我每天只是下载相同的数据。
那时,我将更改为start_date一年前(以获取前几个月的信息),并将DAG的时间表更改为每月运行一次。
如何(在气流UI中)完全重新启动DAG,以使其能够识别我的新产品start_date和计划,并像DAG一样运行完整的回填?
(我知道可以通过命令行请求该回填。但是,我没有命令行界面的权限,并且管理员无法访问。)
单击 Web 界面中相关作业的 Dag Runs 列中的绿色圆圈。这将带您进入所有成功运行的列表。
勾选列表标题左上角的复选标记以选择所有实例,然后在其上方的菜单中选择“已选择”,然后在下拉菜单中选择“删除”。这应该清除所有现有的 dag 运行实例。
如果您的 Airflow 实例上未启用 catchup_by_default,请确保catchup=True在 DAG 上设置它,直到它完成追赶。
| 归档时间: |
|
| 查看次数: |
481 次 |
| 最近记录: |