如何备份 20+TB 的数据？

Question

我们在我工作的公司有一台 NAS 服务器，用于存储摄影会话。每个会话大约为 100GB。在过去的几年里，这个服务器已经积累了 10+ TB 的数据，我们正在以指数方式增加照片的数量。我估计到明年年底，我们将在这个 NAS 上存储 20+ TB。我们目前正在使用带有 Symantec BackupExec 的 LTO-5 磁带将此服务器备份到磁带。由于此服务器的大小已增加，因此此服务器的完整备份不会在一夜之间完成。有没有人对如何备份这么多数据有任何建议？我们应该把它备份到磁带上吗？还有其他更好的选择吗？

Answer 1

您需要退后一步，不要再想“我的 NAS 上有 20TB 的空间，我需要备份！” 并制定考虑数据性质的存储策略：

• 它来自哪里以及您获得了多少新数据？（你的问题中有这个）
• 获得数据后如何使用？人们在编辑图片吗？您是否保留原件并生成经过编辑的版本？
• 您需要将所有数据保留多长时间？人们还在对 2 年前的照片进行更改吗？

根据对最后两个问题的回答，您可能需要更多的归档系统而不是完全不同的备份系统。

静态数据（例如，您保留“以防万一”的 2 年前图片）不需要每晚备份，甚至每周都需要备份。您实际执行的操作可能更复杂，但从概念上讲，所有旧图片都可以写入磁带（多份副本！），不再进行备份。

根据你的评论，一些额外的想法：

• 由于您保持每张照片的原件不变并制作副本，并且假设至少有一些原始照片是无用的，您可能能够将需要备份的数据量减少一半。

• 如果您仍然无法在您拥有的任何时间段内完成完整备份，则一种加快速度的常用方法是先进行磁盘到磁盘备份，然后再将备份集复制到磁带。

Answer 2

您有两个选择：

选项1：

1. 再买一个NAS
2. 为您的用户授予对 new_NAS 的 RO 访问权限
3. 将所有超过 2 年的文件移动到 new_NAS
4. 继续像往常一样备份 old_NAS
5. 每 6 个月将 2 年以上的文件移动到 new_NAS

选项 2：

1. 再买一个NAS

2. rsync每小时运行一次：old_NAS -> new_NAS

   或者，最好使用诸如rdiff-backup 之类的东西，它执行 rsync + 保留文件更改的增量（您可以恢复旧版本的文件）

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. 每 6 个月清理一次运行以下内容的旧文件：

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir