找不到火花提交类异常

Question

我正在尝试使用此快速入门教程通过spark Submit命令运行此简单的spark应用程序。http://spark.apache.org/docs/1.2.0/quick-start.html#self-contained-applications。当我尝试使用spark-1.4.0-bin-hadoop2.6 \ bin> spark-submit运行--class“ SimpleApp” --master local [4] C：/.../ Documents / Sparkapp / target / scala- 2.10 / simple-project_2.10-1.0.jar我收到以下异常：

java.lang.ClassNotFoundException: SimpleApp
    at java.net.URLClassLoader$1.run(Unknown Source)
    at java.net.URLClassLoader$1.run(Unknown Source)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Unknown Source)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSub
mit$$runMain(SparkSubmit.scala:633)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:16
9)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:192)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:111)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/17 09:45:11 INFO Utils: Shutdown hook called

有谁知道如何解决这一问题？任何帮助是极大的赞赏。

Answer 1

问题是我们必须将类文件提交到我们想要执行或将用作支持文件的 Spark 集群，因此请按照以下步骤操作 -

1. 创建此类的 jar 文件 -> 在 eclipse 中，您可以将此类导出为 jar 文件。-> 从命令行

   jar cf myJar.jar myClass.class

2. 编辑您的代码如下 -

   val jarFile = "SimpleApp.jar"; ＃小路

   val conf = new SparkConf().setAppName("简单应用程序").setJars(Array(jarFile));