如何从spark shell设置spark.local.dir属性？

Question

我正在尝试spark.local.dir使用spark-shell进行设置sc.getconf.set("spark.local.dir","/temp/spark"),但它无法正常工作.有没有其他方法可以从sparkshell设置此属性.

Answer 1

你不能从做内壳-因为星火方面已经建立,所以本地目录已被设置(和使用).您应该在启动 shell 时将其作为参数传递:

./spark-shell --conf spark.local.dir=/temp/spark