无法在 virtualenv 中加载 pyspark

Question

我已经在 python virtualenv 中安装了 pyspark。我还在virtualenv 中安装了新发布的 jupyterlab http://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html 。我无法以 SparkContext 变量可用的方式在 jupyter-notebook 中触发 pyspark。

Answer 1

首先启动 virtualenv

source venv/bin/activate
export SPARK_HOME={path_to_venv}/lib/python2.7/site-packages/pyspark
export PYSPARK_DRIVER_PYTHON=jupyter-lab

在此之前，我希望您已经完成：pip install pyspark并pip install jupyterlab在您的 virtualenv 中

要进行检查，一旦您的 jupyterlab 打开，请sc在 jupyterlab 中的一个框中键入内容，您应该拥有可用的 SparkContext 对象，并且输出应如下所示：

SparkContext
Spark UI
Version
v2.2.1
Master
local[*]
AppName
PySparkShell