Amazon S3 是否有文件大小限制

Question

成功运行后，bash 脚本停止工作此行产生错误：

移动失败：../../../../Users/thisuser/Desktop/somefile.zip 到 s3://cloudbackups/somefile.zip（“连接中止。”，错误（32，“管道损坏”） ）

aws s3 mv $source_file_path $target_path

源文件超过8GB。苹果系统。

Answer 1

来自S3 常见问题解答

问： Amazon S3 中可以存储多少数据？

您可以存储的数据总量和对象数量是无限的。单个 Amazon S3 对象的大小范围可以从最小 0 字节到最大 5 TB。单个 PUT 中可以上传的最大对象为 5 GB。对于大于 100 MB 的对象，客户应考虑使用分段上传功能。）

虽然最大文件大小为 5TB，但单次 PUT 操作的最大大小为 5GB - 这意味着您将无法通过单次操作上传 8GB 文件，而需要使用分段上传。请注意，AWS 建议对任何大于 100MB 的文件进行分段上传。

分段上传具有巨大的可靠性优势 - 失败和重试的大小和范围受到限制。为了通过命令行界面执行此操作，您需要熟悉此处记录的多个不同命令

有关分段上传的更多详细信息，请参阅文档：

• 提高吞吐量 - 您可以并行上传部分以提高吞吐量。
• 从任何网络问题中快速恢复 - 较小的部分尺寸可最大限度地减少因网络错误而重新启动失败上传的影响。
• 暂停和恢复对象上传 - 您可以随时间上传对象部分。一旦您启动分段上传，就不会过期；您必须明确完成或中止分段上传。
• 在知道最终对象大小之前开始上传 - 您可以在创建对象时上传对象。