通过 SBT 组装解决创建 JAR 时的依赖关系

Question

我想创建一个大的 Jar 文件。为此，我尝试使用SBT ASSEMBLY。我从GitHub安装了 sbt-assemble和这个答案。当我运行时sbt assembly，我收到此错误：

java.lang.RuntimeException: deduplicate: different file contents found in the following:
/home/UserName/.ivy2/cache/org.eclipse.jetty.orbit/javax.servlet/orbits/javax.servlet-2.5.0.v201103041518.jar:javax/servlet/SingleThreadModel.class
/home/UserName/.ivy2/cache/org.mortbay.jetty/servlet-api/jars/servlet-api-2.5-20081211.jar:javax/servlet/SingleThreadModel.class

为了解决这个问题，我遵循了用户的自述文件页面，这是他建议的代码。

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) =>
  {
    case PathList("org", "apache", xs @ _*) => MergeStrategy.last
    case PathList("javax", "servlet", xs @ _*) => MergeStrategy.last
    case PathList("com", "esotericsoftware", xs @ _*) => MergeStrategy.last
    case PathList("project.clj") => MergeStrategy.last
    case PathList("overview.html") => MergeStrategy.last
    case x => old(x)
  }
}

即使添加此代码后，我仍然收到前面提到的相同错误。请让我知道我缺少什么。对此错误的任何帮助将不胜感激。谢谢！

更新2：

根据给定的链接添加了排除规则，

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "0.8.0-incubating","com.codahale" % "jerkson_2.9.1" % "0.5.0","org.skife.com.typesafe.config" % "typesafe-config" % "0.3.0").map(_.exclude("javax", "servlet"))

更新3：

我可以找到导致问题的库。

| +-org.apache.avro:avro-ipc:1.7.4
| | +-io.netty:netty:3.4.0.Final (evicted by: 3.5.4.Final)
| | +-io.netty:netty:3.5.4.Final
...
...
| | +-org.mortbay.jetty:jetty-util:6.1.26
| | +-org.mortbay.jetty:jetty:6.1.26
| | | +-org.mortbay.jetty:jetty-util:6.1.26
| | | +-org.mortbay.jetty:servlet-api:2.5-20081211
| | | 
| | +-org.mortbay.jetty:servlet-api:2.5-20081211
| | +-org.slf4j:slf4j-api:1.7.2
...
... 
| +-org.eclipse.jetty:jetty-server:7.6.8.v20121106
| | +-org.eclipse.jetty.orbit:javax.servlet:2.5.0.v201103041518

更新4：修复

所以添加MergeStrategy确实解决了这个问题。尽管我有相当多的依赖项（超过 10 个），但为每个依赖项添加 MergeStrategy 都解决了这个问题。

Answer 1

您也可以参考这个技术博客

使用 sbt-assemble 为 Spark 项目创建单个 JAR

这篇文章是关于如何使用 sbt 插件为 Spark Streaming 项目创建一个 Fat jar。sbt-assemble 是一个 sbt 插件，用于创建 sbt 项目的 fat JAR 及其所有依赖项。