相关疑难解决方法(0)

如何为apache spark worker更改每个节点的内存

我正在配置Apache Spark集群.

当我使用1个主服务器和3个从服务器运行集群时,我在主监视器页面上看到了这一点:

Memory
2.0 GB (512.0 MB Used)
2.0 GB (512.0 MB Used)
6.0 GB (512.0 MB Used)
Run Code Online (Sandbox Code Playgroud)

我想为工作人员增加使用的内存,但我找不到合适的配置.我已将spark-env.sh更改为如下:

export SPARK_WORKER_MEMORY=6g
export SPARK_MEM=6g
export SPARK_DAEMON_MEMORY=6g
export SPARK_JAVA_OPTS="-Dspark.executor.memory=6g"
export JAVA_OPTS="-Xms6G -Xmx6G"
Run Code Online (Sandbox Code Playgroud)

但是用过的内存仍然是一样的.我该怎么做才能改变用过的内存?

memory config cluster-computing apache-spark

33
推荐指数
4
解决办法
3万
查看次数

标签 统计

apache-spark ×1

cluster-computing ×1

config ×1

memory ×1