在 Spark 中设置“spark.memory.storageFraction”不起作用

Question

我正在尝试调整 Spark 的内存参数。我试过：

sparkSession.conf.set("spark.memory.storageFraction","0.1") //sparkSession has been created

在我提交作业并检查 Spark UI 之后。我发现“存储内存”仍然和以前一样。所以上面的方法不起作用。

设置“spark.memory.storageFraction”的正确方法是什么？

我正在使用 Spark 2.0。

Answer 1

我面临同样的问题，在阅读了spark github上的一些代码后，我认为spark ui上的“存储内存”具有误导性，它并不表示存储区域\xef\xbc\x8的大小，实际上它代表了最大内存：

\n\n

maxMemory =  (executorMemory - reservedMemory[default 384]) * memoryFraction[default 0.6]\n

\n\n

检查这些以获取更多详细信息 \xe2\x86\x93\xe2\x86\x93\xe2\x86\x93

\n\n

Spark ui executors-页面源代码

\n\n

获取最大内存源代码

\n