是什么导致带有CancelledError异常的迟钝作业失败

Question

我已经看到下面的错误消息已有一段时间了，但无法弄清楚是什么导致了失败。

错误：

concurrent.futures._base.CancelledError: ('sort_index-f23b0553686b95f2d91d4a3fda85f229', 7)

重新启动dask群集后，它将成功运行。

Answer 1

如果运行 adask-cloudprovider ECSCluster或FargateClustertheconcurrent.futures._base.CancelledError可能是由于计算中长时间运行的步骤导致的，其中没有输出（日志记录或其他方式）到Client. 在这些情况下，由于缺乏与客户端的交互，调度程序将自身视为“空闲”，并在配置的cloudprovider.ecs.scheduler_timeout时间段（默认为 5 分钟）后超时。CancelledError 错误消息具有误导性，但如果您在日志中查找调度程序任务本身，它将记录空闲超时。

解决方案是通过配置或直接传递给/构造scheduler_timeout函数来设置更高的值。ECSClusterFargateCluster