apache spark saveAsObjectFile默认写入hdfs

Question

• 当我在本地运行spark(非hdfs)时,RDD saveAsObjectFile将文件写入本地文件系统(例如:path /data/temp.txt)

• 当我在YARN集群上运行spark时,RDD saveAsObjectFile将文件写入hdfs.(例如:path /data/temp.txt)

有没有办法在YARN集群上运行spark时明确提及本地文件系统而不是hdfs.

Answer 1

您可以在参数中明确指定"file:///"前缀.

yourRDD. saveAsObjectFile("file:///path/to/local/filesystem")