如何备份数百万个小文件？

Question

在极短的时间内备份​​数百万个小文件的最佳方法是什么？我们有不到 5 个小时的时间来备份一个文件系统，其中包含大约 6000 万个文件，其中大部分是小文件。

我们尝试了多种解决方案，例如richcopy、7z、rsync，但似乎都很难。我们正在寻找最佳方式...

我们愿意先将文件放入存档中，或者通过网络或硬盘传输将文件传输到另一个位置

谢谢

Answer 1

我强烈建议使用文件存储系统，该系统允许您对卷进行快照并从快照进行备份。这样对实际服务器的影响很小，备份系统可以花时间进行备份，而不必担心主系统。您没有提到操作系统，但是诸如 ZFS 或 NetApp 文件管理器之类的东西会允许这样做，并且两者都在各地用于此确切功能。我确定还有其他文件系统可以提供此功能，但我知道这些工作。

希望这可以帮助。