小编I.C*_*rfi的帖子

在 EC2 上的 24xlarge 机器上运行时，我遇到了气流问题。

我必须注意并行级别是 256。

有几天，由于两个未确定的原因，dagrun 以“失败”状态结束：

1. 某些任务的状态为“upstream_failed”，这是不正确的，因为我们可以清楚地看到前面的所有步骤都成功了。

2. 其他任务的状态不是“空”，它们还没有开始，它们会导致 dagrun 失败。

我必须注意这两个任务的日志都是空的

以下是这些案例的 tast 实例详细信息：

请问有什么解决办法吗？

我对不同的Azure存储服务的用例有疑问：

• Azure数据湖存储。
• Azure Blob存储。
• Azure文件存储。

这些服务有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能（存储）。

使用服务主体和使用 SAS 密钥直接访问在 Databricks 上安装 Azure Data Lake Store Gen2 有什么区别？

我想知道数据传输、访问安全方面的区别

谢谢

正如您在图像中看到的那样: 气流在任务执行之间造成太多时间？它几乎占DAG执行时间的30%.我已将airflow.cfg文件更改为:

job_heartbeat_sec = 1 
scheduler_heartbeat_sec = 1

但我仍然有相同的延迟率.

为什么它会这样？