传输大量小文件

Question

我必须将两台带有大型 SAN 附件的服务器迁移到我们新的 VMWare 环境。

编辑：我必须提供一些额外的情报，因为我对 VMWare 解决方案有很好的答案。

好的，由于服务器上的某些技术限制，我无法在新系统上附加以前的 EMC LUN。

我无法使用 VMWare Converter 在我的新 VM 上克隆丢失的卷，因为 VMWare Converter 看不到 EMC PowerPath 伪设备，而且以前的管理员使用这些伪设备在其上构建 LVM2 和/或 ASM 卷。

这两个物理服务器连接到旧的 EMC² CX-340 SAN 并处理 5TB 的数据。

那些 5TB 的数据是小的 PDF，我需要通过我们的 1Gbit/s LAN 将它们传输到新机器。

我试过使用rsync，但它真的很慢并且对 RAM 和 CPU 性能有很大影响。

我尝试将 NC 与 TAR 一起使用，但传输速率非常慢，因为我在 1Gbit/s 链路上的平均吞吐量约为 50MB/s，流量几乎为零。

您能否给我一些有关此类迁移的建议或经验回报，以及您如何设法在合理的时间内正确完成它？

Answer 1

如果你真的需要一种快速传输文件的方法，而且两个系统都是基于 Linux 的，你可以试试UDR。

这实际上是 rsync-over-UDP 的一种形式（使用开源UDT 框架），对于移动大量文件或通过高带宽或高延迟链接进行传输特别方便。此外，默认情况下禁用加密，因此 RAM/CPU 命中率低于传统 rsync。SSH 也不涉及。

我可以通过目录树中的 1000 万个小型 TIFF 文件轻松获得超过 1Gbps的线速传输。

您的语法将从 rsync 稍作修改。所有 rsync 标志都需要出现在源/目标规范之前：

udr rsync -avP --stats --delete /data/ server2:/data/

易于构建......你需要g++和openssl-devel：

git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/

在源和目标上执行此操作。

Answer 2

如果在不加密的守护进程模式下使用，rsync可以高效地传输大量小文件。再尝试在守护进程模式下使用它。