Apache Spark UI显示的存储内存比--driver-memory选项中设置的少
我正在运行本地传递2G的spark-shell作为驱动程序内存：
alex@POSITRON /ssd2/spark-2.2.0-bin-hadoop2.7/bin $ bash spark-shell --master local --driver-memory 2G
在运行之后，我进入spark UI的“ Environment”选项卡，然后看到我的设置已生效：
然后，我转到“执行程序”选项卡，那里显示出只有956MB似乎是有效的设置：
您能否弄清楚这个956MB值的来源是因为我感觉我不正确地理解配置选项或UI图形？
您在Spark UI中看到的是可用于存储的内存，它是总内存的一部分（spark.memory.storageFraction默认为0.5），请参阅https://spark.apache.org/docs/latest/configuration.html#memory-management
| 归档时间： |
|
| 查看次数： |
586 次 |
| 最近记录： |