在IntelliJ Scala Console中运行时如何设置Spark MemoryStore大小？

Question

我在Linux 64(Fedora 25)上的Intellij(CE 2017.1)Scala控制台中运行Spark代码作为脚本.我在开始时设置SparkContext:

import org.apache.spark.{SparkConf, SparkContext}
val conf = new SparkConf().
  setAppName("RandomForest").
  setMaster("local[*]").
  set("spark.local.dir", "/spark-tmp").
  set("spark.driver.memory", "4g").
  set("spark.executor.memory", "4g")

val sc = new SparkContext(conf)

但是运行的SparkContext始终以相同的行开头:

17/03/27 20:12:21 INFO SparkContext:运行Spark版本2.1.0

17/03/27 20:12:21 INFO MemoryStore:MemoryStore的容量为871.6 MB

17/03/27 20:12:21 INFO BlockManagerMasterEndpoint:注册块管理器192.168.1.65:38119,内存为871.8 MB,BlockManagerId(驱动程序,192.168.1.65,38119,无)

Spark Web UI中的Executors选项卡显示相同的数量.在启动之前从终端导出_JAVA_OPTIONS =" - Xms2g -Xmx4g"也没有效果.

Answer 1

增加Spark MemoryStore并最终增加Web UI的Storage memory Executors选项卡的唯一方法是在启动之前直接在Intellij Scala Console设置中在VM选项中添加-Xms2g -Xmx4g.

现在信息行打印:

17/03/27 20:12:21 INFO MemoryStore:MemoryStore的容量从2004.6 MB开始

17/03/27 20:12:21 INFO BlockManagerMasterEndpoint:注册块管理器192.168.1.65:41997与2004.6 MB RAM,BlockManagerId(驱动程序,192.168.1.65,41997,无)

和Spark Web UI Executors选项卡存储内存显示2.1 GB.