抛出ClassNotFoundException启动Spark Shell

Question

我正在尝试使用./bin/pyspark从目录启动python的spark shell

当我运行该命令时,我收到以下错误:

Exception in thread "main" java.lang.NoClassDefFoundError:    org/apache/spark/launcher/Main
Caused by: java.lang.ClassNotFoundException: org.apache.spark.launcher.Main
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

看来我失踪了:org.apache.spark.launcher.main

我不太清楚如何解决这个问题,并想知道是否有人有任何建议或遇到类似的问题.

谢谢

Answer 1

我也遇到了这个问题(在我的Mac上).

我按照本页中的步骤操作:https: //stackoverflow.com/a/14875241/5478610 并且能够通过此错误.

我认为问题在于,即使我在Mac上安装了Java 8,当我从命令行运行时,它仍然在调用Java 6.

带有类的jar文件(在./lib/spark-assembly-1.5.1-hadoop2.6.0.jar中)无法使用Java 6打开.但是一旦我更新了我的链接,以便从终端调用java将使用Java 8,我能够调出pyspark.