Spark vs Dask中的容错

Ame*_*ina 2 apache-spark pyspark dask

我在已知限制部分的Dask文档中阅读了以下内容:

  • 它[Dask]不具有容错能力.任何工人的失败都可能导致系统崩溃.

  • 如果出现错误,它不会优雅地失败

但是在与Spark的比较中我没有看到任何容错的 提及.这些是目前"你可能选择Spark的原因":

  • 您更喜欢Scala或SQL语言
  • 您主要拥有JVM基础架构和遗留系统
  • 您需要一个既定且值得信赖的业务解决方案
  • 您主要使用轻量级机器学习进行业务分析
  • 您想要一个多功能的解决方案

我的问题:

  • Spark实际上是以Dask目前不具备的容错方式设计的吗?
  • Spark 提供了什么类型的容错(理论上/实践中)Dask没有,如果有的话,反之亦然?

MRo*_*lin 6

那套文档页面非常陈旧,不应该公开.我刚刚删除了它们.请参阅http://dask.pydata.org/en/latest/以获取最新文档.

Dask对任何工人的损失都是容错的.如果中央调度程序失败,它将失败.