相关疑难解决方法(0)

我试图了解Spark 2.1.0如何在节点上分配内存.

假设我正在启动一个本地PySpark REPL,为它分配2GB的内存:

$ pyspark --conf spark.driver.memory=2g

Spark UI告诉我们为存储内存分配了956.6 MB:

我不明白如何达到这个数字,这是我的思考过程:

1. 驱动程序堆大小设置为2048 MB,
2. 根据文档:(2048 MB - 300 MB) * 0.6 = 1048.8 MB用于执行和存储区域(统一),
3. 另外,1048.8 MB * 0.5 = 524.4 MB在统一区域内应保留为免疫存储区域

那么,Spark中956.6 MB的值是如何实际计算的呢？