PySpark无法启动-'python'：无此文件或目录

Question

我正在尝试在桌面上设置pyspark并通过终端与之交互。我正在遵循本指南，

http://jmedium.com/pyspark-in-python/

当我在终端上运行“ pyspark”时，

/home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory

我遵循了一些指南，所有这些指南均导致同一问题（有些指南在设置.profile方面有不同的详细信息。到目前为止，没有一本可以正确使用）。我安装了java，python3.6和Scala。我的.profile配置如下：

#Spark and PySpark Setup
PATH="$HOME/bin:$HOME/.local/bin:$PATH"
export SPARK_HOME='/home/jacob/spark-2.1.0-bin-hadoop2.7'
export PATH=$SPARK_HOME:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
#export PYSPARK_DRIVER_PYTHON="jupyter"
#export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python3.6.5

请注意，jupyter笔记本已被注释掉，因为我现在想在shell中启动pyspark，而笔记本不启动

有趣的是，火花壳发射就很好了

我正在使用Ubuntu 18.04.1和Spark 2.1

查看图片

我已经尝试了所有可以找到的指南，由于这是我第一次设置Spark，所以我不确定如何从此处进行故障排除

谢谢

尝试执行pyspark

。轮廓

版本

Answer 1

您应该在.profile中设置export PYSPARK_PYTHON=python3而不是导出PYSPARK_PYTHON=python3.6.5

然后source .profile，当然。

那对我有用。

其他选项，sudo apt python则不适合安装（适用于2.x）。

Answer 2

对于那些可能遇到这个问题的人，我想通了！

我特意选择使用旧版本的 Spark，以便跟随我正在观看的教程 - Spark 2.1.0。我不知道 Python 的最新版本（撰写本文时为 3.5.6）与 Spark 2.1 不兼容。因此 PySpark 不会启动。

我通过使用Python 2.7并在 .bashrc 中相应地设置路径解决了这个问题

export PYTHONPATH=$PYTHONPAH:/usr/lib/python2.7
export PYSPARK_PYTHON=python2.7