复制大量数据的最快方法

Question

我必须在两台服务器之间复制大量文件（60000+），大约有 5TB 的数据。

我尝试将备份服务器安装为文件夹，并以这种方式复制文件，但我无法获得正确写入文件的权限。

所以我想到了绑定剩余的 3 个网卡端口，连接交叉电缆并使用 cp/scp 复制所有内容。现在我没有以这种方式绑定网卡传输数据的经验。

会更快吗？任何人都可以联系我或给我一些关于更好的解决方案的建议吗？将不胜感激。

Answer 1

当复制大量文件时，我通常使用这些命令：

目标：

nc -q 1 -l 1234 | pv -pterb -s <filesize>G | tar xv

来源：

tar cv <DIR>  | nc -q 1 <targetip> 1234

这将直接传输所有数据，而无需通过端口 1234 从源到目标产生大量协议开销。事实证明，这是我在本地网络中复制数据的最快方法。作为补充，我在目标中添加了 pv 命令，这样我就可以粗略地了解文件的进度。

对于更高级但可能更慢的传输，我建议使用 rsync。