Spark-提交如何设置user.name

Question

想设置

mapreduce.job.user.name=myuser

试过

spark-submit  --class com.MyClass
--conf mapreduce.job.user.name=myuser \ 
--conf spark.mapreduce.job.user.name=myuser \
--master yarn  \
--deploy-mode cluster \

也试过

--conf user.name

在 Spark UI 显示的环境中

user.name yarn

Answer 1

设置为运行时环境变量

尝试：

--conf spark.executorEnv.mapreduce.job.user.name=myuser

spark.executorEnv.[EnvironmentVariableName]- 将EnvironmentVariableName指定的环境变量添加到Executor进程中。用户可以指定其中的多个来设置多个环境变量。