Spark 和 Zeppelin 的集成问题

Question

我想将本地安装的 zeppelin 0.10.0 连接到本地安装的 Spark 3.2.0（我尝试了与 Spark2.3.0 相同的过程，并且成功了。）。但看起来齐柏林飞艇本身有一个内部火花，每次我尝试时都会使用内部火花。我已经完成了 Spark 解释器的设置，但没有用。我只是想知道是否可以更改 zeppelin 使用的默认内部 Spark，并将其更改为我想要使用的 Spark 3.2.0。

SPARK_HOME我输入了据说的参数并spark.master local[*]收到以下错误：

org.apache.zeppelin.interpreter.InterpreterException: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:833)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:741)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.spark.SparkScala212Interpreter.open(SparkScala212Interpreter.scala:66)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:121)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more
org.apache.zeppelin.interpreter.InterpreterException: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:833)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:741)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.spark.SparkScala212Interpreter.open(SparkScala212Interpreter.scala:66)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:121)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more

Answer 1

我自己也遇到过同样的问题 - 你不会继续Spark 3.2.0运行Zeppelin 0.10.0。Spark 3.1.2工作没有任何问题，Zeppelin 已经Spark 2.4.5包括在内 - 这是工具本身的问题。

根据票证ZEPPELIN-5565版本0.10.0不支持Spark 3.2.0. 这应该在0.10.1和中修复0.11.0（信息来自提到的票证，我还检查了 Github 存储库）。

解决此问题的拉取请求要长得多，但有Zeppelin 0.10.0这样的战略路线：

public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_3_2_0;