在 Windows 中为 pyspark 设置的环境变量

Question

我的笔记本电脑上安装了 Spark。我能够执行“spark-shell”命令并打开 scala shell，如下所示。 C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>spark-shell scala> 但是当我尝试执行pyspark命令时。 C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>pyspark

我收到以下错误消息。

'python' 未被识别为内部或外部命令

我确实手动设置了环境用户“路径”变量。通过附加

";C:\Python27"

我重新启动了笔记本电脑，但仍然出现相同的错误。任何人都可以帮我解决这个问题吗？我没有正确更新环境变量吗？

版本：Spark：1.6.2 Windows：8.1

Answer 1

Spark 文档可用。不要害怕，阅读它。

http://spark.apache.org/docs/1.6.0/configuration.html#environment-variables

某些 Spark 设置可以通过环境变量进行配置，这些变量conf\spark-env.cmd在 Windows 上从 ... 读取
...
PYSPARK_PYTHON   Python 二进制可执行文件用于驱动程序和工作程序中的 PySpark（python2.7如果可用，则默认为，否则为python）。
PYSPARK_DRIVER_PYTHON   仅在驱动程序中用于 PySpark 的 Python 二进制可执行文件（默认为 PYSPARK_PYTHON）。

尝试这样的事情：

set PYSPARK_PYTHON=C:\Python27\bin\python.exe
pyspark