rsync 两台大型存储服务器

Sve*_*nnD 2 storage rsync inotify

我们有两台大型存储服务器(+100TB),一台运行在 ZFS 上,另一台运行 XFS,我们打算使用 XFS 作为我们的工作服务器,并使用 ZFS 作为备份服务器(快照 <3)。现在的问题是让这些野兽保持同步......(与每日同步一样同步)

最简单的选择是使用 rsync,但遗憾的是目录结构很深,而且到处都是硬链接。所以这意味着我们需要进行一次“全局”扫描,这将花费很长时间……最重要的是,大部分数据都是创建的,并且从未修改过。所以 rsync 可能不是要走的路。

我查看了inotify,它看起来相对便宜,而且因为我们只希望每天同步,所以可以卸载到一个好时机......遗憾的是,如果我们只查看创建的文件,我们会将硬链接复制为数据会使我们备份中使用的存储量增加一倍......(基本上没有办法从 rsync 进行 -H 检查)

我能想到的唯一选择是重新组织我们的存储以使用基于日期的目录,遗憾的是移动这么多数据并不是我们更喜欢的......

还有其他选择吗?

以供参考 :

  • 带有 XFS 的服务器有一个 RAID 控制器(无 JBOD 选项)和 SATA 磁盘 (WD RE)。32Gb 内存
  • 带有 ZFS 的服务器有一个 HBA 控制器和 SAS 磁盘。126Gb 内存

当我将 ZFS 称为缓慢时,我看到 'ls' 需要几秒钟...

eww*_*ite 6

您真的应该在双方都使用 ZFS,再加上像Sanoid这样的块级快照/复制例程。

没有它,您就会陷入基于文件的操作和 rsync 文件扫描的痛苦之中。