EB8*_*B88 2 python windows hadoop apache-spark pyspark
我对Spark非常沮丧。一个晚上浪费了很多时间,以为我做错了事,但是在遵循多本指南的同时,我又卸载并重新安装了几次,它们都指示一条非常相似的路径。
在cmd提示符下,我正在尝试运行:
pyspark
Run Code Online (Sandbox Code Playgroud)
要么
spark-shell
Run Code Online (Sandbox Code Playgroud)
我遵循的步骤包括从以下位置下载预构建的程序包:
https://spark.apache.org/downloads.html
包括带有hadoop 2.3的spark 2.0.2和带有hadoop 2.7的spark 2.1.0。
都不起作用,我得到这个错误:
'Files\Spark\bin\..\jars""\' is not recognized as an internal or external command,
operable program or batch file.
Failed to find Spark jars directory.
You need to build Spark before running this program.
Run Code Online (Sandbox Code Playgroud)
我已经使用winutils.exe技巧很好地设置了环境变量,但是这些似乎与手头的问题无关。
我不能成为唯一一个坚持这一问题的人。有谁知道可以使该程序在Windows中运行的解决方法?
我刚刚在此问题的答案之一中找到了答案:
为什么spark-submit和spark-shell失败,并显示“无法找到Spark程序集JAR。您需要在运行此程序之前构建Spark”。
以下答案对我有用,完全违反直觉:
“在Windows上,我发现如果将其安装在路径(C:\ Program Files \ Spark)中具有空格的目录中,则安装将失败。将其移至根目录或其他没有空格的目录。”
| 归档时间: |
|
| 查看次数: |
2752 次 |
| 最近记录: |