将大文件复制到局域网上的多台机器

Jon*_*len 9 linux file-sharing

我有一些大文件需要从一台 Linux 机器复制到大约 20 台其他 Linux 机器,所有这些文件都尽可能快地复制到同一个 LAN 上。什么工具/方法最适合复制这些文件,请注意这不会是一次性复制。这些机器永远不会连接到 Internet,安全性不是问题。

更新:

我问这个的原因是因为(据我所知)我们目前正在scp串行使用将文件复制到每台机器,我被告知这“太慢”,正在寻求更快的替代方案。据我scp所知,由于硬盘驱动器搜索,尝试并行化调用只会进一步减慢它的速度。

mfi*_*nni 27

比特流。这就是 Twitter 在内部部署一些东西的方式。

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html(网络存档链接)

  • 除了我的答案(我认为这会做得很好,如果你能实现它),下面的 NFS 答案是一个非常好的答案。一个好的 NFS 服务器应该缓存文件,这样你就不会一直访问磁盘。此外,不要将文件*从*服务器复制到*客户端。从客户端启动它,让 NFS 服务器的缓存帮忙。 (3认同)
  • OP 的问题不是 LAN,而是中央服务器上的磁盘。 (2认同)

Cho*_*er3 12

UFTP怎么,它使用多播将文件通过 UDP 一次传送到多个客户端。不适合所有人,我也不是这方面的专家,但听起来它可以满足您的需求。