Spark 2.4.3 使用哪个 Scala 版本？

Question

我从自制软件在 Mac OS 上安装了 Scala（版本 2.12.8）和 Spark（2.4.3）。我的机器上已经安装了 Java 1.8。

当我启动 spark-shell 时，我看到徽标说：

Spark 版本 2.4.3，使用 Scala 版本 2.11.12（Java HotSpot(TM) 64 位服务器 VM，Java 1.8.0_144）

为什么我的机器上安装的是 Scala 版本 2.11.12 而不是 Scala（版本 2.12.8）？

Spark 2.4.3 是否与 Scala 2.11.12 一起提供？

谢谢。

Answer 1

如发行说明中所述：

Spark 2.4.3 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4 用户升级到此稳定版本。

请注意，2.4.3 将默认 Scala 版本从 Scala 2.12 切换到 Scala 2.11，这是除 2.4.2 之外的所有先前 2.x 版本的默认版本。这意味着，预先构建的便利二进制文件是为 Scala 2.11 编译的。Spark 仍然在 Maven Central 中为 2.11 和 2.12 交叉发布，并且可以从源代码中为 2.12 构建。

此外，您的机器上碰巧拥有的 Scala 版本完全无关 - Spark 使用已用于编译它的 Scala 版本。