为什么Scala 2.11和带有扇贝的Spark导致"java.lang.NoSuchMethodError:scala.reflect.api.JavaUniverse.runtimeMirror"？

Question

我正在使用Scala 2.11,Spark和Scallop(https://github.com/scallop/scallop).我使用sbt来构建一个没有Spark提供依赖项的应用程序胖jar(这是在:analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar)

我可以在sbt中运行该程序.

我尝试从命令行运行它,如下所示:

time ADD_JARS=analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar java -cp /Applications/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar:analysis/target/scala-2.11/dtex-analysis_2.11-0.1.jar com.dtex.analysis.transform.GenUserSummaryView -d /Users/arun/DataSets/LME -p output -s txt -o /Users/arun/tmp/LME/LME

我收到以下错误消息:

线程"main"中的异常java.lang.NoSuchMethodError:scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse $ JavaMirror; at org.rogach.scallop.package $.(package.scala:37)at org.rogach.scallop.package $.(package.scala)at com.dtex.analysis.transform.GenUserSummaryView $ Conf.delayedEndpoint $ com $ dtex $ analysis $ GenUserSummaryView $ Conf $ 1(GenUserSummaryView.scala:27)at com.dtex.analysis.transform.GenUserSummaryView $ Conf $ delayedInit $ body.apply(GenUserSummaryView.scala:26)at scala.Function0 $ class.apply $ mcV $ sp(Function0.scala:40)at org.rogach.scallop.AfterInit $ class.delayedInit(AfterInit.scala:12)at org上的scala.runtime.AbstractFunction0.apply $ mcV $ sp(AbstractFunction0.scala:12) com的.rogach.scallop.ScallopConf.delayedInit(ScallopConf.scala:26).

Answer 1

问题是你使用了不兼容的Scala版本,即Spark是用Scala 2.10编译的,你试图使用Scala 2.11.

将所有内容移至Scala 2.10版本,并确保您也更新SBT.

您也可以尝试为Scala 2.11.7编译Spark源代码并使用它.