在Spark 1.4.x中.如何使用spark-submit选项设置驱动程序的系统属性？

Question

在Spark <1.3.x中,驱动程序的系统属性可以通过--conf选项设置,在设置spark属性和系统属性之间共享:

spark-submit --conf xxx.xxx=vvvvv

在Spark 1.4.0中删除了此功能,驱动程序改为记录以下警告:

Warning: Ignoring non-spark config property: xxx.xxx=vvvvv 

如何在1.4.0中设置驱动程序的系统属性？是否有理由在没有弃用警告的情况下将其删除？

非常感谢您的建议.

Answer 1

此行为是336f7f5373e5f6960ecd9967d3703c8507e329ec在https://issues.apache.org/jira/browse/SPARK-7037中的JIRA讨论中引入的.根据JIRA以前版本的spark-submit,只是默默地忽略了没有开始的conf选项spark..您可以设置spark.driver.extraJavaOptions为拥有所需的选项(取决于您要完成的任务).