高效复制存储

sym*_*ean 7 linux storage replication

我想在 WAN 上复制 10Tb 的数据(大量小文件,低级别流失),同时对可用基础设施的影响最小。

虽然我可以简单地使用 rsync,但这意味着查找更改并比较本地和远程数据(磁盘 I/O、网络带宽和 CPU 成本)虽然 rsync 可以有效地做到这一点,但我想知道有更有效的解决方案可以跟踪更改并传播它们(最好是双向的)。

存储本身是 HP NAS 设备上的 iSCSI。我们之前曾研究过使用其内置复制功能,但发现它们速度慢且不可靠。

DRBD 镜像在两端都需要额外的硬件。这将是相当昂贵的。过去我也被 DRBD 复制失败所困扰。

glusterfs 会更有效吗?使用 2 节点设置真的很愚蠢吗?有更好的解决方案吗?

A.N*_*ate 5

在块级别,可以使用 Starwind 在两端制作镜像磁盘来完成同步。它可以在 iSCSI LUN 上运行,形成双活存储。不需要额外的硬件。https://www.starwindsoftware.com/blog/storage-ha-on-the-cheap-fixing-synology-diskstation-flaky-performance-with-starwind-free-part-3-failover-duration

在文件级别,lsyncd 和 rsync 在服务器之间做镜像同步文件。这些工具可能需要调整配置文件,以确保文件锁定机制按预期工作并且不会发生裂脑。https://linoxide.com/tools/setup-lsyncd-sync-directories/


Ter*_*nen 1

您可以用来lsyncd在系统之间持续同步文件。lsyncd在同步的目录上安装 inotify 监视。每当目录中的文件发生更改时,它都会使用rsync.