如何将 JVM 选项 -Xss512m 添加到 spark-submit？

Question

如何将 JVM 选项 -Xss512m 添加到 spark-submit？

换句话说，我必须在哪里使用spark.executor.extraJavaOptionsand spark.driver.extraJavaOptions？

Answer 1

必须通过conf参数指定 Java 选项，因此理想情况下您将执行以下操作：

spark-submit --class YOUR_MAIN_CLASS --conf "spark.executor.extraJavaOptions=-Xss512m" 
                                     --conf "spark.driver.extraJavaOptions=-Xss512m" APP.jar