小编Shu*_*ain的帖子

Spark避免在S3中创建_temporary目录

我需要将数据帧上传到S3存储桶,但是我没有对该存储桶的删除权限。有什么办法可以避免在S3上创建此_temporary目录?也许可以通过任何方式将本地FS用于_temporary目录,然后将最终结果文件上传到S3存储桶,或者完全避免使用_temporary目录。

提前致谢。

amazon-s3 apache-spark

4
推荐指数
2
解决办法
2257
查看次数

Spark _temporary创作理由

为什么火花在将结果保存到文件系统的同时,将结果文件上传到_temporary目录,然后将它们移动到输出文件夹而不是直接将它们上传到输出文件夹?

apache-spark

4
推荐指数
1
解决办法
2494
查看次数

标签 统计

apache-spark ×2

amazon-s3 ×1