终端中的Pyspark命令启动Jupyter笔记本

Question

我遇到了spark-submit的问题,抛出错误不是Jupyter命令,即pyspark启动web ui而不是pyspark shell

背景资料:

1. 使用MAC上的Brew安装Scala,Spark
2. 安装了Conda Python 3.5
3. Spark命令适用于Jupyter Notebook
4. 终端上的'pyspark'启动笔记本而不是外壳

任何帮助深表感谢.

Answer 1

PYSPARK_DRIVER_PYTHON变量设置为自动启动ipython/jupyter(可能是预期的.)运行unset PYSPARK_DRIVER_PYTHON然后再次尝试pyspark.

如果您希望这是默认设置,则可能需要修改配置文件脚本.