相关疑难解决方法(0)

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。下载后，我按照此处提到的步骤为Windows 10安装pyspark。我使用注释bin \ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

两周以来，我一直在尝试在我的 Windows 10 计算机上安装 Spark (pyspark)，现在我意识到我需要您的帮助。

当我尝试在命令提示符中启动“pyspark”时，我仍然收到以下错误：

问题

“pyspark”不被识别为内部或外部命令、可操作程序或批处理文件。

对我来说，这暗示路径/环境变量有问题，但我找不到问题的根源。

我的行动

我尝试过多种教程，但我发现最好的是Michael Galarnyk的教程。我按照他的教程一步步进行：

• 安装的Java
• 安装了 Anaconda

• 从官方网站下载了Spark 2.3.1（我相应地更改了命令，因为Michael的教程使用了不同的版本）。我按照cmd提示符中的教程移动了它：

  mv C:\Users\patri\Downloads\spark-2.3.1-bin-hadoop2.7.tgz C:\opt\spark\spark-2.3.1-bin-hadoop2.7.tgz
  

  Run Code Online (Sandbox Code Playgroud)

  然后我解压它：

  gzip -d spark-2.3.1-bin-hadoop2.7.tgz
  

  Run Code Online (Sandbox Code Playgroud)

  和

  tar xvf spark-2.3.1-bin-hadoop2.7.tar
  

  Run Code Online (Sandbox Code Playgroud)

• 从Github下载 Hadoop 2.7.1 ：

  curl -k -L -o winutils.exe https://github.com/steveloughran/winutils/raw/master/hadoop-2.7.1/bin/winutils.exe?raw=true
  

  Run Code Online (Sandbox Code Playgroud)

• 相应地设置我的环境变量：

  setx SPARK_HOME C:\opt\spark\spark-2.3.1-bin-hadoop2.7
  setx HADOOP_HOME C:\opt\spark\spark-2.3.1-bin-hadoop2.7
  setx PYSPARK_DRIVER_PYTHON jupyter
  setx PYSPARK_DRIVER_PYTHON_OPTS notebook
  

  Run Code Online (Sandbox Code Playgroud)

  然后将C:\opt\spark\spark-2.3.1-bin-hadoop2.7\bin添加到我的路径变量中。我的环境用户变量现在看起来像这样： 当前环境变量

这些操作应该可以解决问题，但是当我运行时pyspark --master local[2]，我仍然收到上面的错误。您可以使用上面的信息帮助追踪此错误吗？

支票

我在命令提示符中运行了一些检查来验证以下内容：

• Java已安装
• 蟒蛇已安装
• 点已安装
• Python已安装

我正在尝试在Windows 7上的cmd提示符下运行spark-shell命令。我已经安装了hadoop并将其保存在C:\winutils\hadoop-common-2.2.0-bin-master\bin下，Spark保存在C:\Spark下\spark-2.2.1-bin-hadoop2.7\bin。

在执行 Spark-shell 时，我收到以下错误。

C:\Spark\spark-2.2.1-bin-hadoop2.7\bin>spark-shell 系统找不到指定的路径。

以下是我的环境变量

HADOOP_HOME C:\winutils

JAVA_HOME   C:\Program Files\IBM\Java80\jre

PATH        C:\Users\IBM_ADMIN\AppData\Local\Programs\Python\Python36-32;C:\IBM\InformationServer\Clients\Classic;C:\Program Files\IBM\Java80\jre;C:\Windows\system32

SCALA_HOME  C:\Program Files (x86)\scala\

截屏