将 200GB 的文件上传到 S3

Question

在 Linux 中将 200GB tar.gz 文件上传到 S3 的最佳方法是什么？在研究中，我发现 S3 对对象的限制已增加到 5TB，并了解了分段上传机制以加快上传速度。我找到了一个 python 脚本 boto 这可能有助于解决这个问题。有人可以对这个话题有更多的了解吗？

Answer 1

不要上传它。发表它。 http://aws.amazon.com/importexport/

亚马逊提供一项服务，您可以向他们发送便携式媒体，然后他们从他们的快速主干网为您上传数据。

如果您真的很想自己动手，请获取S3cmd的副本并执行s3cmd sync.

“永远不要低估一辆装满磁带的旅行车在高速公路上疾驰的带宽。” - 安德鲁·S·塔南鲍姆

编辑：如果您真的希望能够对文件上传进行分块，我建议您执行以下操作。

1. 获取一个具有足够临时存储空间的 AWS EC2 实例来保存您要上传的文件。
2. 使用 GNU Split 将文件分成更小的块。
3. 将块上传到您的临时 EC2 实例。
4. 使用拆分选项重新组装块以重新组装。
5. 将数据块从 EC2 上传到 S3（非常快！）
6. 关闭 EC2 实例，但要保持方便。