Spark如何解析字符串中的系统属性(没有字符串插值)？

Question

我在这个博客中看到了以下片段

val warehouseLocation = "file:${system:user.dir}/spark-warehouse"
val spark = SparkSession
   .builder()
   .appName("SparkSessionZipsExample")
   .config("spark.sql.warehouse.dir", warehouseLocation)
   .enableHiveSupport()
   .getOrCreate()

如何user.dir在warehouseLocation值中替换系统属性.不应该是字符串s"file:${System.getProperty("user.dir")}/spark-warehouse"？

Answer 1

是的,file:${system:user.dir}/spark-warehouse是等于 s"file:${System.getProperty("user.dir")}/spark-warehouse".

在Spark中,它自己实现了替换,并从env(System.getEnv),system(System.getProperty)前缀或自定义配置中绑定了read config provider.