将数百万个文件移动到 Amazon Glacier

Question

我需要将总大小为 TB 的数百万个文件中的几十个移动到 Glacier Vault 中。这将需要很长时间，我担心在此过程中会出现错误。

如何防止上传在中间停止的情况，然后我不确定哪些文件已经上传并且必须重新开始？如果文件已经上传，我应该编写我自己的python代码并使用列表并检查Glacier，或者是否有内置的工具？

谢谢

Answer 1

转移

您可以使用其中一个新的 [AWS Snowcone) 单元——它存储 8TB 的数据。

或者，确定上传需要多长时间是带宽问题。使用AWS 命令​​行界面 (CLI) aws s3 sync命令可以从故障中恢复，但读取数百万个文件可能需要很长时间。如果您在复制时可以将其分割成更小的块，那就太好了。

实际上，它可能是AWS DataSync 的一个很好的用例：

AWS DataSync是一种在线数据传输服务，可简化、自动化和加速通过 Internet 或 AWS Direct Connect 将大量数据复制到 AWS 存储服务和从 AWS 存储服务复制大量数据。DataSync 可以在网络文件系统 (NFS)、服务器消息块 (SMB) 文件服务器或 AWS Snowcone 和 Amazon Simple Storage Service (Amazon S3) 存储桶、Amazon EFS 文件系统和 Amazon FSx for Windows File Server 文件系统之间复制数据.

它将以更快、更有管理的方式移动数据。

贮存

我建议不要将您的数据移动到 Glacier Vault 中。访问 Glacier 的速度是出了名的慢，而且确实需要软件工具才能正确使用它。

相反，我建议将您的数据放入 Amazon S3。然后，您可以使用对象生命周期管理来更改对象的存储类别。如果您的目标是低成本存储，那么选择Glacier Deep Archive，它实际上是普通 Glacier 服务价格的一半。

如果您想坚持使用 Glacier Vault，我建议您进行一些“试用”上传和检索，以了解您是否愿意为您的所有数据使用该服务。（坦率地说，现在没有什么理由直接去冰川了。）