我有一台装有JupyterHub的机器(Python2,Python3,R和Bash Kernels)。我有Spark(scala),当然PySpark不在工作。我什至可以通过以下命令在交互式IPython笔记本中使用PySpark:
IPYTHON_OPTS="notebook" $path/to/bin/pyspark
Run Code Online (Sandbox Code Playgroud)
(这将打开一个Jupyter笔记本,并且在Python2中可以使用Spark)
但是我无法在JupyterHub中运行PySpark。
Spark内核超出了我的真正需求。
我只需要JupyterHub中的Pyspark。有什么建议吗?
谢谢。