通过各种形式的文件传输(例如:FTP、SFTP、NFS 和 Samba)传输大量(数 GB)数据时。它们都面临着相同的问题,即多个小文件有时会阻碍速度降至 MB 或 KB,甚至在 10Gbps 链路上也是如此。
但是,如果我在传输之前压缩、tar 或 rar 整个文件夹,那么网络链接就会完全饱和。
是什么造成了这种效应呢?
可以采取哪些措施来提高通过网络传输大量小文件的性能?
在可用的文件传输协议中,哪种最适合此目的?
我对网络拥有全面的管理权,因此所有配置和选项都可用,例如在网络接口上设置 MTU 和缓冲区大小以及在文件服务器配置中关闭异步和加密,作为一些一次性的想法。