Spark.shuffle.safetyFraction 和 Spark.storage.safetyFraction 区别

Question

我现在正在研究这篇关于 Apache Spark 架构的文章。

根据描述，有两个安全分数： spark.shuffle.safetyFraction和spark.storage.safetyFraction，分别为 JVM 的 0.8 和 0.9。Shuffle 占用spark.shuffle.safetyFraction的 0.2 ，而 storage 占用Spark.storage.safetyFraction的 0.6 。然而，给出的图像具有误导性。（其中一条评论证实了这一点）

我的问题是：

shuffle和存储如何占用JVM相同内存的0.8和0.9？它们是共享的吗？那么，最坏的情况会发生什么呢？

我用谷歌搜索但没有得到任何关于这些的文档。任何帮助表示赞赏！:)

Answer 1

这些配置仅供内部使用，不向公众公开，请参阅此拉取请求。您可以 memoryFraction改为设置。