Spark:saveAsTextFile()仅在写入本地文件系统时创建SUCCESS文件而不创建零件文件

Question

我正在使用以下命令将RDD写入文件:

rdd.coalesce(1).saveAsTextFile(FilePath)

当FilePath是HDFS路径(hdfs://node:9000/folder/)时,一切正常.

当FilePath是本地路径(file:///home/user/folder/)时,一切似乎都有效.输出文件夹已创建,SUCCESS文件也存在.

但是,我没有看到任何part-00000包含输出的文件.没有其他文件.火花控制台输出中也没有错误.

我也尝试在调用之前调用RDD上的collect saveAsTextFile(),给出777 permission输出文件夹,但没有任何工作.

请帮忙.

Answer 1

local仅在使用master时保存到本地 make 效果