用于 Java 11 的 Spark

Question

Spark 2.x 用于 Java 11 时出现以下错误

线程“main”中的异常 java.lang.IllegalArgumentException：不支持的类文件主要版本 55

Spark 3.0 是否与 Java 11 具有这种兼容性？

是否有其他解决方法可以将 Java 11 与 Spark 一起使用？

Answer 1

来自Spark 3 文档：

Spark 在 Java 8/11、Scala 2.12、Python 2.7+/3.4+ 和 R 3.1+ 上运行。从 Spark 3.0.0 开始，不推荐使用 8u92 版本之前的 Java 8 支持。从 Spark 3.0.0 开始，不推荐使用 3.6 版之前的 Python 2 和 Python 3。从 Spark 3.0.0 开始，不推荐使用 3.4 版之前的 R 支持。对于 Scala API，Spark 3.0.0 使用 Scala 2.12。您将需要使用兼容的 Scala 版本 (2.12.x)。

所以 Spark 3.x 与 Java11 一起工作，Spark 2.x 不像这个答案中指出的那样。