EMR conf spark默认设置

Question

我正在根据指南Configure Spark使用配置文件以在AWS上设置EMR配置，例如，spark.executor.extraClassPath通过以下设置更改is：

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "/home/hadoop/mongo-hadoop-spark.jar",
     }
}

它可以正常运行并spark.executor.extraClassPath在emr spark conf上进行更改，但是emr在中具有一些预设的默认路径spark.executor.extraClassPath，因此与其覆盖spark.executor.extraClassPath.I，我想知道是否有一种方法可以追加路径并保留默认路径，例如

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "{$extraClassPath}:/home/hadoop/mongo-hadoop-spark.jar",
     }
}

Answer 1

在作业提交时指定所有附加 jar 的完整路径将适合您。

-- 罐子

此选项会将这些 jar 提交给所有执行程序，并且不会更改默认的额外类路径

我知道另一种选择，但我只用 Yarn conf 尝试过，但不确定 EMR

./bin/spark-submit --class "SparkTest" --master local[*] --jars /fullpath/first.jar,/fullpath/second.jar /fullpath/your-program.jar