如何增加Apache spark executor节点的可用内存？
我有一个2 GB的文件,适合加载到Apache Spark.我正在1台机器上运行apache spark,所以驱动程序和执行程序在同一台机器上.该机器有8 GB的内存.
当我在设置要在内存中缓存的文件后尝试计算文件的行时,我得到以下错误:
2014-10-25 22:25:12 WARN CacheManager:71 - Not enough space to cache partition rdd_1_1 in memory! Free memory is 278099801 bytes.
我看了看文档,这里并设置spark.executor.memory到4g在$SPARK_HOME/conf/spark-defaults.conf
UI显示此变量在Spark环境中设置.你可以在这里找到截图
但是,当我转到Executor选项卡时,我的单个Executor的内存限制仍然设置为265.4 MB.我还是得到了同样的错误.
我尝试了这里提到的各种各样的东西,但我仍然得到错误,并且不清楚我应该在哪里更改设置.
我正在从spark-shell以交互方式运行我的代码