我正在尝试jupyter-notebook (v4.2.2)远程使用a spark cluster (v2.0),但是当我运行以下命令时它不会在spark上运行但只在本地运行:
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://**spark_master_hostname**:7077
当我pyspark单独使用相同--master argument的程序运行时,该过程显示"Running Applications"为火花簇很好.
pyspark --master spark://**spark_master_hostname**:7077
这几乎就好像pyspark没有在前者中运行.第一个命令是否有问题阻止jupyter在spark集群上运行或者在spark集群上运行笔记本的更好方法？