我需要将数据帧上传到S3存储桶,但是我没有对该存储桶的删除权限。有什么办法可以避免在S3上创建此_temporary目录?也许可以通过任何方式将本地FS用于_temporary目录,然后将最终结果文件上传到S3存储桶,或者完全避免使用_temporary目录。
提前致谢。
amazon-s3 apache-spark
为什么火花在将结果保存到文件系统的同时,将结果文件上传到_temporary目录,然后将它们移动到输出文件夹而不是直接将它们上传到输出文件夹?
apache-spark
apache-spark ×2
amazon-s3 ×1