目前,我正在为 220 万个文件运行 rsync,总共 250GB,这在 6 小时内只需要 70 万个文件。
有谁知道一个类似 rsync 的工具可以用多线程来做到这一点,所以它运行得更快?
我怀疑 cpu 是这里的限制因素。您很可能受到传输的网络带宽和磁盘 IO 的限制;尤其是所有这些 stat 调用的延迟。
您能否将文件系统层次结构分解为较小的块以进行并行处理?
源文件是什么,编写或修改它们的内容是什么?是否可以在应用程序级别发生更改时发送更改?
| 归档时间: |
|
| 查看次数: |
20438 次 |
| 最近记录: |