10GE网络：还是贵得要命？有什么选择吗？

Question

我正在构建家庭集群，我将有大约 16 个节点可以使用 1G 端口，但我希望在文件服务器和中央节点上有 10GE。这都是本地的，所以不需要超过 3-5m 的电缆。当然，我想花尽可能少的钱（不会花费超过整个集群成本）:-)

我有哪些选择？

1. 传统解决方案是采用一些 24-48 端口的 1GE 交换机，并通过 4-8 条聚合链路连接到文件/中央节点。我猜这会起作用，成本是可以接受的，但我不确定使用那么多聚合链接是否可以。当然，在需要时很难将带宽加倍...... :-D
2. 带有多个 10GE 上行链路“端口”的交换机。据我所知，它们都需要成本大约 1000 美元的模块，所以我需要 4 个 10G 模块和 2 个 10GE 卡......闻起来像超过 5000 美元+......
3. 直接通过2个10G卡连接文件和中心节点，并在文件服务器上放置4个四端口1GE网卡。我节省了 2 个 10G 模块和一个交换机，文件服务器将不得不进行数据包路由，但它仍然会剩下很多 CPU :-)
4. 还有其他选择吗？无限带宽？
5. MyriNet 适配器工作正常吗？我想没有更便宜的选择吗？
6. 嗯...废文件服务器，把它全部放在中心节点上，并为每个节点提供专用的 1GE 端口...这很可悲...

Answer 1

我不认为你在这里没有看到整个画面。

您想要以 10Gbps 的速度连接文件服务器，这听起来可能是个很性感的主意。您没有看到的是该服务器能够从磁盘读取大量流量。从文件服务器获得 1GBps 在今天是一个非常好的成就。10Gbps 不仅会像您自己意识到的那样昂贵，而且至少 90% 是无用的。

如果需要提供如此大量的 IO，您最好的选择是开始在文件服务器中放入一些极快的磁盘。我坚信“负担得起的”（注意引号）路径是快速 RAID 配置（即 RAID10）中的 SSD 驱动器。

至于网络，4x1Gbps 的聚合可以很好地解决问题，您甚至可以稍后添加更多。请注意内部总线（读取 PCI*）并不总是能够处理数千兆位速度的事实。如果您不使用服务器级主板，则尤其如此。

我相信这是您在这里唯一的“负担得起的”选择。Infiniband 卡并不贵。我相信你可以花 150 美元找到一些，但这个开关会非常昂贵。