Arn*_*nab 3 apache-spark
我想询问哪个配置选项在spark中具有优先权？它是配置文件还是我们在运行spark-submit shell时手动指定的选项？如果我的配置文件中有不同的执行程序内存选项,并且在运行spark-submit shell时指定了不同的值,该怎么办？
Mik*_*kia 8
在星火(1.5.0)配置页中明确规定的重点是什么:
直接在SparkConf上设置的属性取最高优先级,然后将标志传递给spark-submit或spark-shell,然后选择spark-defaults.conf文件中的选项.
所以这是优先顺序(从最高到最低):
spark-submit
spark-shell
spark-defaults.conf
归档时间：
10 年，1 月 前
查看次数：
3282 次
最近记录：
8 年，12 月 前