快速将文件发送到数十台服务器

Question

我们有一组机器（大约 50 台并且还在不断增加）。每台机器都有一个搜索索引，每天需要更新多次。我们目前单独更新每台机器上的索引，但理想情况下，我们可以在一台机器上更新它，然后将新文件同步到集群的其余部分。我们最初使用 rsync 来处理这个问题，但随着机器数量的增加，这个解决方案显然无法扩展。我刚刚开始研究多播文件传输。任何有经验的人都可以推荐一些值得一看的地方？

Answer 1

这对我来说曾经是一个面试问题......

多播选项：
BitTorrent
使用发布/订阅消息传递的其他协议。

另一种方法... 使用分发树：
发送到 N 个主机，每个主机依次发送到 N 个主机；并以这种方式在树下工作。这当然需要您进行一些开发工作，但这可能是更具可扩展性的方法。

其中大部分取决于您实际需要迎合多少系统、索引大小和您的网络基础设施。