如何设置Spark作业暂存位置

Question

我的 Spark 作业失败，因为用户无权访问 Spark 尝试写入暂存或临时数据集的目录。

2017-03-10 10:25:47,0928 错误 JniCommon fs/client/fileclient/cc/jni_MapRClient.cc:2072 线程：26413 mkdirs 失败 /user/cxpdiprod/.sparkStaging/application_1488190062017_14041，错误 13 线程中的异常“main “ org.apache.hadoop.security.AccessControlException：用户 cxpdiprod（用户 id 99871）已被拒绝访问在 com.mapr.fs.MapRFileSystem.makeDir（MapRFileSystem.java:1250）在 com.mapr.fs.MapRFileSystem 创建 application_1488190062017_14041 .mkdirs(MapRFileSystem.java:1270) 在 org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1913) 在 org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:634) 在 org. apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:356) 在 org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:727) 在 org.apache.spark.deploy.yarn。 Client.submitApplication(Client.scala:142) 在 org.apache.spark.deploy.yarn.Client.run(Client.scala:1021) 在 org.apache.spark.deploy.yarn.Client$.main(Client.scala) ：1081）在org.apache.spark.deploy.yarn.Client.main（Client.scala）在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java：62）在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:497) 在 org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy $SparkSubmit$$runMain(SparkSubmit.scala:742)

用户“cxpdiprod”可以访问集群中的其他目录，即/mapr/ui/abc。是否有任何属性可以为临时文件和临时文件设置不同的目录？

Answer 1

添加此属性spark.yarn.stagingDir 以及所需的暂存位置spark-defaults.conf。默认情况下，暂存位置是/user/username/HDFS 文件系统中当前用户的主目录。