空状态的气流任务

I.C*_*rfi 6 python amazon-s3 airflow airflow-scheduler

在 EC2 上的 24xlarge 机器上运行时,我遇到了气流问题。

我必须注意并行级别是 256。

有几天,由于两个未确定的原因,dagrun 以“失败”状态结束:

  1. 某些任务的状态为“upstream_failed”,这是不正确的,因为我们可以清楚地看到前面的所有步骤都成功了。 在此处输入图片说明

  2. 其他任务的状态不是“空”,它们还没有开始,它们会导致 dagrun 失败。 在此处输入图片说明

我必须注意这两个任务的日志都是空的

在此处输入图片说明

以下是这些案例的 tast 实例详细信息:

在此处输入图片说明

请问有什么解决办法吗?

joe*_*oeb 0

当手动更改任务状态(可能通过“标记成功”选项)或强制进入某个状态(如 中所示upstream_failed)且任务从未收到hostname记录上的值且没有任何日志或 PID 时,可能会发生这种情况