复制数百万个文件

Question

我需要通过公司的SAN将大约300万个文件从一个文件夹复制到另一个文件夹.这对我来说最好的方法是什么？

Answer 1

如果直接副本太慢(尽管具有回写式高速缓存的SAN的速度与此类操作的速度一样快),您可以将文件压缩到一个或多个存档中,然后在目标位置展开存档.这会略微减少磁盘抖动.

在更聪明的层面上,您可以使用tar或cpio来处理文件,然后将它们写入stdout,然后将其传输到另一个tar/cpio进程以在目标处解析它们.

使用tar执行此操作的示例命令如下所示:

tar cf - * | (cd [destination dir] ; tar xf - )

某些SAN还将直接克隆磁盘卷.

Answer 2

如果您在Windows上,请使用robocopy.它非常强大,适合这种情况.它支持死链接检测,如果被中断,可以告诉它重试副本.

Answer 3

您是否考虑过使用rsync？这是一种使用算法的工具，该算法涉及计算文件块的哈希值以比较两个站点并在站点之间发送增量。