如何找到特定 Spark 配置属性的值？

Question

如何在我的 spark 代码中找到 spark 配置的值？

例如，我想找到 spark.sql.shuffle.partitions 的值并在我的代码中引用它。

以下代码将返回所有值：-

spark.sparkContext.getConf().getAll()

如何检索单个配置设置？

Answer 1

像这样。

spark.conf.get("spark.sql.shuffle.partitions")
'200' # returns default value here