更改 tmp 目录在 Spark 中不起作用

Question

我想更改 Spark 使用的 tmp 目录，因此我的 Spark-Submit 中有类似的内容。

 spark-submit <other parameters> --conf "spark.local.dir=<somedirectory>" <other parameters>

但我注意到它没有效果，因为 Spark 仍然使用默认的 tmp 目录。我在这里做错了什么？

顺便说一下，我使用的是Spark的独立集群。

Answer 1

从https://spark.apache.org/docs/2.1.0/configuration.html

\n\n

在 Spark 1.0 及更高版本中spark.local.\xe2\x80\x8c\xe2\x80\x8bdir被SPARK_LOCAL_DIRS （Standalone、Mesos）或LOCAL_DIRS （YARN）覆盖由集群管理器设置的

\n