如何在 AWS 胶中检查 Spark 和 Hadoop 的版本？

Question

我将 AWS 与（基本支持计划）一起使用。我想知道 AWS 粘合作业中使用了哪个版本的 Spark 和 Hadoop (HDFS)。这样我就可以在本地机器上设置相同的环境进行开发。

或者，如果我了解 Spark 的版本，则对应 AWS 粘合作业使用的 Hadoop 版本，反之亦然。

因为我正在使用基本支持计划。所以，我不能向支持中心提出案例。知道在哪里可以检查 AWS 胶水作业... Spark 和 Hadoop 版本吗？

任何形式的帮助和建议表示赞赏。谢谢！

Answer 1

如果您使用的是 Spark > 2.0 那么

1.In Pyspark:

获取 Spark 版本：

print("Spark Version:" + spark.version)

在火花 < 2.0 中：

sc.version

获取 Hadoop 版本：

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

2.In Scala:

火花版本：

println ("Spark Version:" + spark.version)

在火花 < 2.0：

sc.version

Hadoop版本：

println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())