在运行spark-shell之前编辑spark-env.sh的正确方法是什么？

Question

我在我的本地Windows机器上运行spark.我能够成功启动spark shell.

我想编辑驻留在conf /文件夹中的spark-env.sh文件.将值添加到spark-env.sh文件的正确方法是什么.

例如,如果我想为SPARK_EXECUTOR_MEMORY变量添加值怎么做？我对可用的不同答案感到困惑1. SPARK_EXECUTOR_MEMORY ="2G"2.导出

Answer 1

这spark-env.sh是一个用于Unix的常规bash脚本,因此在Windows安装中它永远不会被拾取.

在Windows上,您需要spark-env.cmd在conf目录中有一个文件,而是使用以下语法:

set SPARK_EXECUTOR_MEMORY=2G

在Unix的,该文件将被调用spark-env.sh,你将需要与preprend每个属性export(如:export SPARK_EXECUTOR_MEMORY=2G)

Answer 2

您必须使用export来在*.sh文件中添加任何配置。因此，在spark-env.sh文件中使用以下示例，

export SPARK_MASTER_IP=192.165.5.1
export SPARK_EXECUTOR_MEMORY=2g
#OR export SPARK_EXECUTOR_MEMORY=2G

无需对值使用双引号。