Spark安装错误--pyspark

Question

我正在 Windows 8 上安装 Spark 1.2.1，并且我已经下载了 Hadoop 2.4 的预构建包

当我运行pyspark时，出现以下错误：

C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4>bin\pyspark
Running python with PYTHONPATH=C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\bin\..\python\lib\py4j-0.8.2.1-src.zip;C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\bin\..\python;
Python 2.7.6 (default, Nov 10 2013, 19:24:18) [MSC v.1500 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
The system cannot find the path specified.
Traceback (most recent call last):
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-Hadoop2.4\bin\..\python\pyspark\shell.py", line 45, in <module>
sc = SparkContext(appName="PySparkShell", pyFiles=add_files)
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\python\pyspark\context.py", line 102, in __init__
SparkContext._ensure_initialized(self, gateway=gateway)
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\python\pyspark\context.py", line 212, in _ensure_initialized
SparkContext._gateway = gateway or launch_gateway()
File "C:\Users\Dinesh\Desktop\spark-1.2.1-bin-hadoop2.4\python\pyspark\java_gateway.py", line 73, in launch_gateway
raise Exception(error_msg)
Exception: Launching GatewayServer failed with exit code 1!
Warning: Expected GatewayServer to output a port, but found no output.

我进行了搜索，发现一般来说错误是由于路径变量未正确定义而引起的，但我已经检查过并且我的变量都已就位。我该如何解决该错误？“该系统找不到指定的路径。” 它谈论的是哪条道路？

Answer 1

就我而言，问题来自我正在使用的终端。在 Windows 上的Git Bash上，我line 96: CMD: bad array subscript在执行时收到错误： ，但是当我在PowerShellspark-shell上尝试时，它工作正常。

Answer 2

这可能是由 DOS 类路径中的 cygwin 引起的。Spark 使用文件“spark-class2.cmd”中的 find 命令，该命令使用 cygwin find 命令而不是 DOS find 命令，其工作原理有些不同。我从 DOS 路径中删除了 cygwin，这解决了问题。