Spark从中读取默认配置$SPARK_HOME/conf/spark-defaults.conf。
--properties-file [FILE]使用（say）时，还可以使用命令行参数来更改默认位置spark-submit。
我想做的是从文件中加载其他参数，而不必替换默认参数。也就是说，我希望spark spark-defaults.conf从另一个文件加载属性并从另一个文件加载更多属性。现在，如果两者都定义了属性，则我希望最后一个配置文件获胜。
Spark默认支持此功能吗？
长话短说；博士号。
正如 Spark文档中所述，以下是配置的优先顺序：
“直接在 SparkConf 上设置的属性具有最高优先级，然后是传递到 Spark-submit 或 Spark-shell 的标志，然后是 Spark-defaults.conf 文件中的选项。 ”
鉴于此，我将在驱动程序代码中使用Typesafe Config来加载自定义配置文件并设置我直接在SparkConf. 那里设置的任何内容都将优先于其他地方之前的任何配置。
| 归档时间： |
|
| 查看次数： |
1456 次 |
| 最近记录： |