当我在终端运行时:
sudo Spark-submit --master local --class xxx.xxxx.xxx.xxxx.xxxxxxxxxxxxJob --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=xxx.conf' /home/xxxxx/workspace/prueba/pruebas/目标/scala-2.11/MiPrueba.jar
我收到以下错误:
线程“main”中的异常 java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
在 pureconfig.DurationUtils$.words(DurationUtils.scala:36)
在 pureconfig.DurationUtils$.pureconfig$DurationUtils$$expandLabels(DurationUtils.scala:38)
在 pureconfig.DurationUtils$$anonfun$2.apply(DurationUtils.scala:53)
在 pureconfig.DurationUtils$$anonfun$2.apply(DurationUtils.scala:53)
在 scala.collection.immutable.List.flatMap(List.scala:338)
在 pureconfig.DurationUtils$ 处。(DurationUtils.scala:53)
在 pureconfig.DurationUtils$.(DurationUtils.scala)
在 pureconfig.DurationReaders$class.$init$(BasicReaders.scala:114)
在 pureconfig.ConfigReader$ 处。(ConfigReader.scala:121)
在 pureconfig.ConfigReader$.(ConfigReader.scala)
在 xxx.xxxx.xxx.xxxx.config.package$Config$.load(package.scala:67)
在 xxx.xxxx.xxx.xxxx.job.xxxxJob$class.main(XXXxxx.scala:23)
在xxx.xxxx.xxx.xxxx......作业$.main(Xxxxxxxxxxxxx.scala:19)
在 xxx.xxxx.xxx.xxxx..main(XXXXXXxxxxxxxx.scala)
在 sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:498)
在 org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
在 org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:849)
在 org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:167)
在 org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:195)
在 org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
在 org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
构建定义:
版本:=“0.1”
scala版本 := "2.11.11"
库依赖项:
val dependFullList = spark ++ hadoop ++ …Run Code Online (Sandbox Code Playgroud)