bho*_*ass 2 executor hadoop-yarn apache-spark
我正在做一个像spark这样的spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar
在web ui中,我确实可以看到有3个执行器节点,但每个节点都有2G内存.当我设置--executor-memory 2G时,ui每个节点显示1G.
如何将我的设置减少1/2？
pze*_*vic 15
Web UI的执行程序页面显示了存储内存量,默认情况下等于Java堆的54%(spark.storage.safetyFraction 0.9*spark.storage.memoryFraction 0.6)
| 归档时间： |
|
| 查看次数： |
867 次 |
| 最近记录： |