PATH 问题：搜索时找不到有效的 SPARK_HOME

Question

我更新了我的 PATH 看起来像这样：

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

我认为它有效，因为我设法从不同的文件夹调用 spark-shell（尽管我想知道我是否疯了，它真的来自 bin 文件夹）。但是，在重新启动 Ubuntu 后，它似乎不再起作用。为什么？

Could not find valid SPARK_HOME while searching ['/home/username', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

Answer 1

环境

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

将使运行可执行的脚本一样spark-shell，spark-submit，pyspark没有必要给全路径脚本等。

除了设置PATH，您还需要设置

SPARK_HOME=/home/username/Installs/Spark

当您启动spark cluster或使用spark-submit.

如果你在.bashrc文件中设置变量，你也需要export关键字

export SPARK_HOME=/home/username/Installs/Spark

如果你不想重启 Ubuntu 来测试它的工作类型

. ~/.profile

进入命令行，然后尝试您的 spark 命令。