Spark 在带有 SBT 程序集 JAR 的 spark-submit 中找不到应用程序类本身 (ClassNotFoundException)

Question

背景

我正在尝试使用 Scala 开始使用 Spark。

最初，我试图编写一个流式 Kinesis 消费者，并遵循这个官方示例。虽然，此时我已经减少了我的错误案例以删除与 Kinesis 相关的任何内容，除了包依赖项，并且错误保持不变。

我使用 SBT 来生成我的项目的程序集 JAR。然后，我尝试使用spark-submit. （详细步骤如下。）

这始终以 失败ClassNotFoundException，声称它找不到我的应用程序的主类。（详细输出如下。）

我应该强调：

就我的理解而言，我不相信这与ClassNotFoundException其他海报看到的相同，我不相信这个问题是这些问题的重复。

特别是，据我所知：

• 有问题的类是我的主要应用程序类本身。
• 我引用了正确的完全限定类名。
• 我已通过 SBT 生成程序集 JAR，将依赖项包含在输出 JAR 中。

重现步骤

1. 初始化空的 Scala SBT 项目。（我在 IntelliJ 中使用了默认模板，但我认为这并不重要。）
2. 添加项目代码。（包括在下面。）
3. sbt assembly
4. ./bin/spark-submit --class "sparkpoc.KinesisExample" --master local[4] ~/git/ming-spark-poc/target/scala-2.11/ming-spark-poc-assembly-0.1.jar （有适当的替换。）

错误信息

$ ./bin/spark-submit --class "sparkpoc.KinesisExample" --master local[4] ~/git/ming-spark-poc/target/scala-2.11/ming-spark-poc-assembly-0.1.jar 
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/Users/ming/misc/spark-2.3.0-bin-hadoop2.7/jars/hadoop-auth-2.7.3.jar) to method sun.security.krb5.Config.getInstance()
WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
2018-05-09 15:39:01 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
java.lang.ClassNotFoundException: sparkpoc.KinesisExample
    at java.base/java.net.URLClassLoader.findClass(URLClassLoader.java:466)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:566)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:499)
    at java.base/java.lang.Class.forName0(Native Method)
    at java.base/java.lang.Class.forName(Class.java:374)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:235)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:836)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:197)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
2018-05-09 15:39:01 INFO  ShutdownHookManager:54 - Shutdown hook called
2018-05-09 15:39:01 INFO  ShutdownHookManager:54 - Deleting directory /private/var/folders/py/jrf50pwj1xdd4grjvlg07g580000gp/T/spark-c5f3bade-fbfe-4516-900e-99fee1b47366

我的代码

build.sbt

name := "ming-spark-poc"

version := "0.1"

scalaVersion := "2.11.8"

val sparkVersion = "2.3.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-sql" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-streaming-kinesis-asl" % sparkVersion
)

assemblyOption in assembly := (assemblyOption in assembly).value
  .copy(includeScala = false)

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", "MANIFEST.MF") => MergeStrategy.discard
  case _ => MergeStrategy.first
}

我知道assemblyMergeStrategy在生产代码中没有默认情况回退的设置是不好的做法。这只是让项目构建的快速技巧，据我所知，它与我当前的错误无关。

assembly.sbt

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.6")

KinesisExample.scala

最初，这是一个 Kinesis 消费者。它被简化为一个什么都不做的占位符应用程序。错误没有改变。

package sparkpoc

import scala.collection.mutable
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{Seconds, StreamingContext}

object KinesisExample {

  def main(args: Array[String]): Unit = {
    val batchInterval = Seconds(5)

    val sparkConf = new SparkConf().setAppName("SparcPocKinesisExample")
    val streamingContext = new StreamingContext(sparkConf, batchInterval)

    streamingContext.start()
    streamingContext.awaitTermination()
  }

}

到目前为止我尝试过的

我可以从预打包的 JAR 中运行官方示例，似乎没有问题。

$ ./bin/run-example SparkPi 10
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/Users/ming/misc/spark-2.3.0-bin-hadoop2.7/jars/hadoop-auth-2.7.3.jar) to method sun.security.krb5.Config.getInstance()
WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
2018-05-09 16:14:07 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-05-09 16:14:08 INFO  SparkContext:54 - Running Spark version 2.3.0
2018-05-09 16:14:08 INFO  SparkContext:54 - Submitted application: Spark Pi
<SNIPPED>

据我所知，生成的 JAR 文件包含预期的类文件。我以两种不同的方式独立验证了这一点。

我检查了 JAR 的内容jar -tf。据我所知，它在预期位置包含预期的类文件。

$ jar -tf ./target/scala-2.11/ming-spark-poc-assembly-0.1.jar | grep KinesisExample
org/apache/spark/examples/streaming/KinesisExampleUtils$$anonfun$getRegionNameByEndpoint$1.class
org/apache/spark/examples/streaming/KinesisExampleUtils$$anonfun$getRegionNameByEndpoint$2.class
org/apache/spark/examples/streaming/KinesisExampleUtils$$anonfun$getRegionNameByEndpoint$3.class
org/apache/spark/examples/streaming/KinesisExampleUtils$.class
org/apache/spark/examples/streaming/KinesisExampleUtils.class
sparkpoc/KinesisExample$.class
sparkpoc/KinesisExample.class

我提取了 JAR 的内容unzip并手动检查了它们。据我所知，它在预期位置包含预期的类文件。

虽然我不希望此项目中的任何内容都依赖于当前工作目录，但我使用 Spark 安装根目录作为当前工作目录重复了相同的步骤，结果没有任何变化。

我尝试直接运行生成的 JAR。虽然我不希望这能正常运行以实际运行 Spark 应用程序，但我认为它可以提供有关类解析发生了什么的洞察力。它失败如下。

$ java -jar ./target/scala-2.11/ming-spark-poc-assembly-0.1.jar "sparkpoc.KinesisExample"
Error: Could not find or load main class sparkpoc.KinesisExample
Caused by: java.lang.ClassNotFoundException: sparkpoc.KinesisExample

我尝试重命名类所在的包，包括一度将其放在顶级包中（无package声明）。每次spark-submit使用适当的完全限定类名调用时，我仍然遇到相同的错误。

如果assemblyMergeStrategy黑客间接破坏了某些内容，我尝试将其替换为如下显式列表。

assemblyMergeStrategy in assembly := {
  case PathList("javax", "inject", _*) => MergeStrategy.last
  case PathList("org", "apache", _*) => MergeStrategy.last
  case PathList("org", "aopalliance", _*) => MergeStrategy.last
  case PathList("mime.types") => MergeStrategy.last
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

我仍然遇到同样的错误。编辑：这实际上按预期工作。我有一个过时的构建工件的单独问题。见下文。

问题

1. 我当前的 SBT 设置是否有任何不正确或不当之处？（除了 hack 中的assemblyMergeStrategy.）
2. 我还能如何验证生成的 JAR 是否正确？
3. 假设生成的 JAR 是正确的，我还缺少什么可能导致这样的问题？

预先感谢您提供的任何见解或建议。

编辑：分辨率

以下 Ahmad Ragab 的回答是正确的。

我的 确实有问题assemblyMergeStrategy，导致输出 JAR 格式错误。就我理解的有限程度而言，我相信我是在用assemblyMergeStrategy. 有效的版本如下。

assemblyMergeStrategy in assembly := {
  case PathList("javax", "inject", _*) => MergeStrategy.last
  case PathList("org", "apache", _*) => MergeStrategy.last
  case PathList("org", "aopalliance", _*) => MergeStrategy.last
  case PathList("mime.types") => MergeStrategy.last
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

值得注意的是，我之前尝试过一次，但不知何故不起作用。我的怀疑，虽然我无法追溯证明，但我不小心用过时的构建工件测试了该更改，因此我不小心运行了没有这些更改的旧版本。在清理所有内容并使用这些新更改进行重建后，它按预期工作。

（请注意，由于没有定义的输出，应用程序仍会在启动时崩溃，但当然，该失败是预期的，我们已经删除了意外的失败。）

Answer 1

这次assemblyMergeStrategy尝试看起来可能有些奇怪：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", _@_*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}

其次，您可能需要在程序集选项中显式设置主类，以便创建正确的清单，但公平地说，我无法证明这一点。过去我做了以下工作并取得了一些成功

mainClass in assembly := Some("sparkpoc.KinesisExample")

最后，您可以确认您的 jar 已正确创建的一种方法是执行以下命令：

java -classpath ming-spark-poc-assembly-0.1.jar "sparkpoc.KinesisExample"

希望其中一些内容能引导您走向正确的方向。