Linux 服务器同步到 Amazon S3 存储桶

Question

我正在寻找一种稳定的解决方案来使用rsync. 我必须将整个文件系统（超过 1Tb）同步到 Amazon S3。

我在哪里？

解决方案 1：我使用s3fs. 系统变得不稳定，交通真的很慢。这不是一个解决办法。

解决方案2：使用s3cmd sync命令。一切都以良好的速度进行（至少对于小于 2Gb 的文件夹）。当我尝试同步服务器上的所有文件系统（有一些例外）时，问题就出现了。该过程只是挂起。

任何提示？

Answer 1

这是一种糟糕的备份方式。您应该将操作系统配置与有价值的数据分开。您的任何权限都不会被转移，在 Linux 世界中，如果您计划恢复备份（您应该这样做 - 未经验证的恢复的备份是毫无意义的），那么这是必要的。

首先，您可以按照您的说明将有价值的实例数据（例如/var/www）同步到 S3 s3cmd sync。

其次，使用 Puppet 或 Chef 等配置管理实用程序，您可以轻松地启动操作系统的新实例，从而确保一组全新且可靠的配置。

您的问题中没有有关底层架构的详细信息（EC2？VMware？KVM？Xen？物理硬件？），因此我无法推荐任何特定工具（即特定于架构的快照）。如果您在虚拟平台（例如 EC2、VMware、KVM）上运行，您应该使用该平台的快照架构。