将许多 S3 存储桶移至 Glacier

Question

我们有大量的S3 存储桶，并且正在清理这些东西。我们认为Glacier是存档数据的好方法。计划是存储这些存储桶的内容，然后将其删除。这将是一次性操作，我们不需要自动化的东西。

我知道：

• 如果有一天我们想要恢复它，存储桶名称可能不再可用
• 每个文件有大约 40kb 的索引开销，这使得它对于小文件来说不是那么划算的解决方案，最好使用不频繁访问的存储类或压缩内容

我试了一下并创建了一个保险库。但我无法运行aws Glacier命令。我收到了一些显然与Python库有关的 SSL 错误，无论我是在Mac 上还是从某个专用容器运行它。

此外，直接使用Glacier API（并保留正确的文件信息）似乎很痛苦，并且通过专用存储桶使用它更简单。

那个怎么样？在AWS 中有什么可以做我想做的吗？或者有什么建议可以以不太挑剔的方式做到这一点？你会推荐什么工具？

Answer 1

哇，这么多问题！

有两种使用 Amazon Glacier 的方法：

• 在 Amazon S3 存储桶上创建生命周期策略以将数据存档到 Glacier。这些对象仍然会出现在 S3 中，包括它们的安全性、大小、元数据等。但是，它们的内容存储在 Glacier 中。通过这种方法存储在 Glacier 中的数据必须恢复回 S3 才能访问内容。
• 通过 AWS API将数据直接发送到 Amazon Glacier。以这种方式发送的数据必须通过 API 恢复。

Amazon Glacier 对存储卷以及每个请求收费。在 Glacier 中存储许多小文件效率较低。相反，它是建议创建存档（如ZIP文件），使更少的，更大的文件。这会使检索特定文件变得更加困难。

如果您打算直接使用 Glacier，使用实用程序（例如Cloudberry Backup）要容易得多，但是这些实用程序旨在从计算机备份到 Glacier。他们可能不会将 S3 备份到 Glacier。

如果数据已经在 Amazon S3 中，最简单的选择是创建生命周期策略。然后，您可以使用 S3 管理控制台和标准 S3 工具来访问和恢复数据。