小编B1K*_*B1K的帖子

我已经设置了一个spark(1.6)独立集群.在conf/slaves文件下有1个master并添加了3台机器作为worker.即使我已经为spark中的每个worker分配了4GB内存,为什么在应用程序运行时它只使用1024MB？我想它使用分配给它的所有4 GB.帮我弄清楚我在哪里做错了什么.

下面是spark主页面的截图(当应用程序使用spark-submit运行时),在Memory列下,它显示在4.0 GB旁边的括号中使用的1024.0 MB.

我还尝试使用spark-submit 设置--executor-memory 4G选项,但它不起作用(如何为apache spark worker更改每个节点的内存).

这些是我在spark-env.sh文件中设置的选项

导出SPARK_WORKER_CORES = 3

导出SPARK_WORKER_MEMORY = 4g

导出SPARK_WORKER_INSTANCES = 2