在 emr 5.29.0 上运行 Scala 2.12

Question

我有一个在 Scala 2.12 中编译的 jar 文件，现在我想在 emr 5.29.0 上运行它。我如何运行它们，因为 emr 5.29.0 的默认版本是 scala 2.11。

Answer 1

根据AWS 论坛中的这个帖子，EMR 上的所有 Spark 版本都是使用 Scala 2.11 构建的，因为它是稳定版本：

在 EMR 上，Spark 使用 Scala-2.11.x 构建，这是目前的稳定版本。根据 https://spark.apache.org/releases/spark-release-2-4-0.html，Scala-2.12 仍在实验支持下。我们的服务团队已经知道这个功能请求，一旦它变得稳定，他们将在即将发布的版本中添加 Scala-2.12.0 支持。

因此，您必须等到他们添加对未来 EMR 版本的支持，或者您可能想要使用 Scala 2.12 构建 Spark 并将其安装在 EMR 上。请参阅构建和部署自定义应用程序与Apache的Bigtop和Amazon EMR和建设电子病历星火分布。

更新：

从6.0.0 版开始，Scala 2.12 可以在 EMR 上与 Spark 一起使用：

更改、增强和已解决的问题

• 斯卡拉

  Scala 2.12 与 Apache Spark 和 Apache Livy 一起使用。