MacOS上的Spark安装和配置ImportError:没有名为pyspark的模块

Question

我正在尝试在MacOS上配置apache-spark.所有在线指南要求下载火花焦油并设置一些env变量或使用brew install apache-spark然后设置一些env变量.

现在我用apache-spark安装了brew install apache-spark.我pyspark在终端运行,我得到一个python提示,表明安装成功.

现在,当我尝试import pyspark进入我的python文件时,我正面临着错误的说法ImportError: No module named pyspark

我无法理解的最奇怪的事情是它如何启动pyspark的REPL并且无法将模块导入python代码.

我也尝试过,pip install pyspark但它也无法识别模块.

除了用自制软件安装apache-spark之外,我还设置了以下env变量.

if which java > /dev/null; then export JAVA_HOME=$(/usr/libexec/java_home); fi

if which pyspark > /dev/null; then
  export SPARK_HOME="/usr/local/Cellar/apache-spark/2.1.0/libexec/"
  export PYSPARK_SUBMIT_ARGS="--master local[2]"
fi

请在我的本地计算机上运行pyspark代码,建议我的设置缺少什么.

Answer 1

pyspark模块不包含在你的python中

试试这个

import os
import sys

os.environ['SPARK_HOME'] = "/usr/local/Cellar/apache-spark/2.1.0/libexec/"

sys.path.append("/usr/local/Cellar/apache-spark/2.1.0/libexec/python")
sys.path.append("/usr/local/Cellar/apache-spark/2.1.0/libexec/python/lib/py4j-0.10.4-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf

except ImportError as e:
    print ("error importing spark modules", e)
    sys.exit(1)

sc = SparkContext('local[*]','PySpark')

如果您不想这样,请将它们包含在您的系统中PATH.并且不要忘记包含python路径.

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.0/libexec/
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/python:$PATH