以最少的数据重复存储多个版本的大型二进制文件(最好是 Linux)

5 linux backup storage filesystems deduplication

我需要在具有本地存储的 Linux 服务器上存储 ~ 150 GB 二进制文件 (qcow2) 的多个版本,并希望有一些解决方案只涉及保留可以根据需要合并的差异,这样我就不必创建另一个仅更改 4 个 Gig 时的 150 GB 文件副本。这是一个存储问题,而不是关于 KVM/qcow2 特定功能的问题。我已经探索了其中的一些选项。目前使用 CentOS 6.3 和 EXT4。这些文件需要无限期地存储,并且在恢复时必须完整无缺。如果解决方案值得,我愿意更改文件系统等。

Dmi*_*riD 0

我将把 LVM 快照作为解决方案。无需详细说明,我会这样做:

  1. 创建足够大的 LVM 卷来包含您的数据。
  2. 将大型二进制文件的初始副本上传到此卷。
  3. 创建 LVM 快照。
  4. 使用 rsync 复制大文件的另一个版本来代替现有文件。

此时您可以通过挂载LVM快照来访问原始文件。此外,还将提供大文件的最新版本。您可以通过这种方式创建多个快照。