Spark-defaults.conf可以解析环境变量吗？

Question

spark-env.sh如果我的文件中有如下行

export MY_JARS==$(jars=(/my/lib/dir/*.jar); IFS=,; echo "${jars[*]}")

这给了我一个以逗号分隔的 jar 列表/my/lib/dir，有没有办法我可以指定

spark.jars $MY_JARS

在里面spark-defaults.conf？

Answer 1

tl;dr不，它不能，但有一个解决方案。

Spark 将该conf文件作为属性文件读取，无需任何额外的环境变量替换。

然而，您可以做的是将计算值MY_JARS从spark-env.sh直接写入spark-defaults.conf使用>>（附加）。最后获胜，所以不用担心可能会有很多类似的条目。