2 个 Linux 服务器之间的多线程文件同步

Tom*_*men 9 linux rsync

目前,我正在为 220 万个文件运行 rsync,总共 250GB,这在 6 小时内只需要 70 万个文件。

有谁知道一个类似 rsync 的工具可以用多线程来做到这一点,所以它运行得更快?

Jim*_*imB 7

我怀疑 cpu 是这里的限制因素。您很可能受到传输的网络带宽和磁盘 IO 的限制;尤其是所有这些 stat 调用的延迟。

您能否将文件系统层次结构分解为较小的块以进行并行处理?

源文件是什么,编写或修改它们的内容是什么?是否可以在应用程序级别发生更改时发送更改?