Apache Spark使用自制程序从1.5.2升级到1.6.0,导致执行期间拒绝权限错误

Question

我刚刚使用Homebrew将Spark从1.5.2升级到1.6.0并将我的SPARK_HOME环境变量重置为/usr/local/Cellar/apache-spark/1.6.0.现在,在执行pyspark时,它会给出一个权限被拒绝的错误.

如果我进入早期的1.5.2安装目录并从那里执行pyspark,它运行正常.但是从1.6.0安装目录运行pyspark失败,并显示此权限被拒绝错误.

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

可能是什么导致了这个？

Answer 1

我遇到了同样的问题,最容易解决的问题是设置$SPARK_HOME为/usr/local/Cellar/apache-spark/<your_spark_version>/libexec/.

您也可以直接从源代码构建,您可以在此处找到说明.

基本上就是这样

git clone https://github.com/apache/spark/`
cd spark
git checkout origin/branch-X.Y

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

您需要$SPARK_HOME将spark源代码设置为顶级目录.

Answer 2

边做边做 unset SPARK_HOME && pyspark（归功于下面的 noli）

想让 SparkContext 在 Ipython 中运行，结果很简单。

unset SPARK_HOME IPYTHON=1 pyspark