通过广域网在两台服务器之间复制大量小文本文件

Question

我们有几千个小文件 (2-20KB) 可以在一个文件夹中的服务器之间复制以进行备份。目前，该过程作为 cron 作业自动执行，并将每个文件的 SCP 副本复制到远程服务器。

这些文件主要是基于文本的，所以我想SCP -C ...可能会起作用，但是我不确定是否有办法将所有这些小文件打包（显然尝试压缩每个 5KB 文件是没有意义的）。

我可以压缩这些文件，但是我需要在另一侧解压缩它们（需要运行一些进程来监控 SCP 副本何时完成并触发和解压缩）。

另一种选择是执行 ssh 并通过管道传输 zip 和解压缩

所以问题是通过 WAN 将许多许多小文件复制到远程服务器，同时最大限度地减少需要在远程主机上进行的更改数量的最有效方法是什么？

干杯!

Answer 1

最有效的方法是通过连接流式传输它们。在 Unix 上，最简单的路径是：

tar vc source-dir/ | ssh -C target.example.com 'tar xC /target-dir'

这将使用 tar 将文件打包和解包到单个流中，从而通过您可以从 SSH 中获得的链接实现最有效的压缩和 TCP 带宽使用 - 归档文件的空间开销为零。