火花提交选项列表

Question

在Spark 配置页面上提到了大量的可调设置。然而，随着告诉这里的SparkSubmitOptionParser 属性名称的Spark属性可以从不同property's名。

举例来说，spark.executor.cores如通过--executor-cores在spark-submit。

---

在哪里可以找到命令可以传递的所有调整参数（及其属性名称）的详尽列表？SparkSparkSubmitOptionParserspark-submit

Answer 1

虽然@ suj1th的宝贵输入确实解决了我的问题，但我正在回答自己的问题以直接解决我的查询。

• 您无需为给定的属性（配置设置）查找SparkSubmitOptionParser的attribute-name。两者都很好。但是，请注意，用法之间有细微的差别，如下所示：Spark

  spark-submit --executor-cores 2

  spark-submit --conf spark.executor.cores=2

  上面显示的两个命令将具有相同的效果。第二种方法采用格式的配置--conf <key>=<value>。

• 用引号引起来的值（如果不正确/不完整，请更正我）

  （i）值不必用任何形式的引号（单引号''或双引号""）引起来（如果需要，您仍然可以将其括起来 ）。

  （二）如果该值有一个space字符，包围整个事情在双引号""像"<key>=<value>"如图所示这里。

• 要获取可以通过传递的所有配置的完整列表，只需运行spark-submitspark-submit --help

• 在@ suj1th提供的此链接中，他们说：

  在SparkConf上显式设置的配置值具有最高优先级，然后是传递给spark-submit的标志，然后是默认文件中的值。

  如果您不清楚配置选项的来源，则可以通过使用--verbose选项运行spark-submit来打印出细粒度的调试信息。

来自Spark文档的以下两个链接列出了许多配置：

• Spark 组态
• 运行Spark上YARN