小编San*_*hay的帖子

spark-submit允许使用,配置执行程序环境变量--conf spark.executorEnv.FOO=bar,并且Spark REST API允许使用该environmentVariables字段传递一些环境变量.不幸的是,spark-submit在集群模式下提交驱动程序时,我发现没有类似配置驱动程序的环境变量:

spark-submit --deploy-mode cluster myapp.jar

是否可以spark-submit在群集模式下设置驱动程序的环境变量？

我正在使用 Spark 的collectAsMap函数 [ Spark CollectAsMap来获取地图。在此地图中，当我执行put操作时，出现以下异常：

ERROR ApplicationMaster: User class threw exception: java.lang.UnsupportedOperationException
java.lang.UnsupportedOperationException
    at java.util.AbstractMap.put(AbstractMap.java:209)

从 collectAsMap 获得的地图是不可修改的吗？

我正在尝试为我的 Spark 应用程序设置环境变量，以本地模式运行。

这是火花提交作业：-

spark-submit --conf spark.executorEnv.FOO=bar --class com.amazon.Main SWALiveOrderModelSpark-1.0-super.jar

但是，当我尝试访问此内容时：-

System.out.println("env variable:- " + System.getenv("FOO"));

输出是：-

env variable:- null

有谁知道我该如何解决这个问题？