设置了SPARK_HOME env变量,但Jupyter Notebook没有看到它.(视窗)

Question

我在Windows 10上.我试图让Spark与Jupyter笔记本一起运行并与Python 3.5一起运行.我安装了预构建版本的Spark并设置了SPARK_HOME环境变量.我安装了findspark并运行代码:

import findspark
findspark.init()

我收到一个Value错误:

ValueError:找不到Spark,确保设置了SPARK_HOME env或Spark位于预期位置(例如来自自制软件安装).

但是设置了SPARK_HOME变量.这是一个屏幕截图,显示了我系统上的环境变量列表.

有没有人遇到过这个问题或者知道如何解决这个问题？我只发现了一个旧的讨论,其中有人将SPARK_HOME设置到错误的文件夹但我不认为这是我的情况.

Answer 1

我有同样的问题,浪费了很多时间.我找到了两个解决方案

有两种解决方案

1. 将下载的spark文件夹复制到C目录中的某个位置,并给出如下链接

   import findspark
   findspark.init('C:/spark')
   

2. 使用findspark的功能自动查找spark文件夹

   import findspark
   findspark.find()
   

Answer 2

环境变量仅在系统重新启动后才会更新。重新启动系统后即可使用。

Answer 3

我遇到了同样的问题，并通过安装“vagrant”和“virtual box”解决了它。（注意，虽然我使用 Mac OS 和 Python 2.7.11）

看看这个针对哈佛 CS109 课程的教程： https://github.com/cs109/2015lab8/blob/master/installing_vagrant.pdf

在终端上“vagrant reload”后，我可以毫无错误地运行我的代码。请注意附图中显示的命令“os.getcwd”的结果之间的差异。