如何指示气流从最新到最旧的回填

Question

我有一个Airflow DAG，计划每天运行。当我开始上个月的回填时，Airflow将开始处理从最早到最新的运行。由于单次运行需要几个小时，这意味着当新的运行可用时（经过回填的一天已经过去了），只有在整个回填完成后才处理新的运行（导致最近的数据被保留）。不适用于该公司）。是否可以指示Airflow处理从最新到最早的运行？

Answer 1

我认为使用 Airflow 标准组件这是不可能的。

根据任务的数量，您可以将所有任务设置为成功状态。运行完成后，只需清除状态即可运行当天的导入。