使用Spark 2启动Ipython

Question

我有我的ipthon启动脚本如下

IPYTHON_OPTS="notebook --port 8889 \
--notebook-dir='/usr/hdp/2.3.2.0-2950/spark/' \
--ip='*' --no-browser" pyspark

它适用于较旧的Spark.但是当我切换到Spark2时,我收到以下错误:

在Spark 2.0+中删除了IPYTHON和IPYTHON_OPTS.从环境中删除它们并改为设置PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS.

目前尚不清楚我应该用什么命令替换它.有人可以帮忙吗？

Answer 1

对于Spark <2.0,pyspark以IPython 开头的命令是:

IPYTHON=1 pyspark

Spark> = 2.0的等效更新命令是:

PYSPARK_DRIVER_PYTHON=ipython pyspark

根据Spark的源代码.