在Spark 2.3中使用G1GC垃圾收集器

Question

我正在尝试将G1GC垃圾收集器用于火花作业，但是我得到了一个

Error: Invalid argument to --conf: -XX:+UseG1GC

我尝试使用这些选项，但无法使其正常工作

spark-submit --master spark://192.168.60.20:7077 --conf -XX:+UseG1GC /appdata/bblite-codebase/test.py

和

spark-submit --master spark://192.168.60.20:7077 -XX:+UseG1GC /appdata/bblite-codebase/test.py

G1GC从Spark 调用收集器的正确方法是什么？

Answer 1

JVM选项应作为spark.executor.extraJavaOptions/ 传递spark.driver.extraJavaOptions。

 --conf "spark.executor.extraJavaOptions=-XX:+UseG1GC"