小编Nig*_*olf的帖子

通过广域网在两台服务器之间复制大量小文本文件

我们有几千个小文件 (2-20KB) 可以在一个文件夹中的服务器之间复制以进行备份。目前,该过程作为 cron 作业自动执行,并将每个文件的 SCP 副本复制到远程服务器。

这些文件主要是基于文本的,所以我想SCP -C ...可能会起作用,但是我不确定是否有办法将所有这些小文件打包(显然尝试压缩每个 5KB 文件是没有意义的)。

我可以压缩这些文件,但是我需要在另一侧解压缩它们(需要运行一些进程来监控 SCP 副本何时完成并触发和解压缩)。

另一种选择是执行 ssh 并通过管道传输 zip 和解压缩

所以问题是通过 WAN 将许多许多小文件复制到远程服务器,同时最大限度地减少需要在远程主机上进行的更改数量的最有效方法是什么?

干杯!

compression performance remote file-transfer scp

1
推荐指数
1
解决办法
689
查看次数

标签 统计

compression ×1

file-transfer ×1

performance ×1

remote ×1

scp ×1