AWS EMR 5.20 和 Java 版本支持

Question

我想知道 Amazon EMR 5.20 AMI 是否支持 Java 9？

我在这里找不到信息。我有兴趣在 JDK 9 和 Scala 2.12 中使用 Spark 2.4.0。

https://docs.aws.amazon.com/fr_fr/emr/latest/ReleaseGuide/emr-release-5x.html https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster .html

谢谢你。

Answer 1

首先，你不能将Scala 2.12.x与Spark 2.4.0一起使用（顺便说一句，有实验支持，请参阅评论）。如文档中所述，要使用 Spark 2.4.0，您需要使用兼容的 Scala 版本，即 2.11.x 系列。

其次，从文档来看，JDK9+兼容Scala 2.11.12，但并不完整。

最后，AWS EMR 5.20 使用 Apache Spark 2.4.0。您可以在主节点中通过命令行检查 JDK 版本。

>java -version
openjdk version "1.8.0_191"
# "b" means "build"
# Version number is 8u191, which also means JDK 8 Update 191
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

或者，您可以直接运行spark-shell命令，该命令将打印 Scala (2.11.12) 和 JDK 版本 (JDK8)。

我希望它有帮助！

注意：另一个文档还指出，Java 8 是 AWS EMR 5.0.0 或更高版本的集群实例的默认 JVM。