气流 - 上次运行不正确

Question

我刚刚运行了一个气流 DAG。当我看到气流上次运行日期时，它显示最后但最后一次运行日期。当我将鼠标悬停在“i”图标上时，它引起了我的注意，它显示了正确的日期。有什么办法可以解决这个问题吗？听起来像是无稽之谈，但我最终用它来对我的数据进行质量检查。

Answer 1

这可能是因为您的气流作业已catchup=True启用并start_date已过去，因此正在回填。

开始日期是上次运行的实时日期，而上次运行是气流作业的执行日期。例如，如果我使用 2016 年 1 月 1 日至今的数据回填时间分区表，则开始日期将是当前日期，但上次运行日期将为 2016 年 1 月 1 日。

将来请包含您的 DAG 文件/代码。

编辑：如果您没有catchUp=True启用，并且差异大约是一天（如您发送的图片所示），那么这只是由于调度程序的行为造成的。从文档中可以看出，“调度程序在开始日期之后的时间段结束时运行您的作业 1schedule_interval”。

如果您在某一天运行 DAG schedule_interval，则标记为 2016-01-01 的运行将在 2016-01-01T23:59 之后不久触发。换句话说，作业实例在其覆盖的时间段结束后立即启动。