PCIe 3.0 x8 是否为双 QSFP 40Gbit NIC 提供足够的带宽？

Question

我正在研究用于工作项目的双 QSFP 40GBit 网卡，并且对 PCIe 3.0 的理论最大带宽有一些疑问。

我目前正在 CDW ( Mellanox MCX314A-BCBT )上查看双 QSFP PCIe 3.0 x8 卡，但我认为 PCIe x8 不会以 100% 的利用率为两个 40Gbit 链路提供足够的带宽。

维基百科指出，PCIe 3.0 的理论最大带宽为每通道 985MB/s。因此，根据我的计算，PCIe 3.0 x8 将产生 7880MB/s 的最大带宽。如果这是真的，如果两条链路都处于 100% 的利用率，卡将使 PCIe 连接饱和。

以下是我的具体问题：

• 双QSFP 40Gbit网卡可以输出的最大带宽是多少？

• PCIe 8x 在饱和前可以处理的最大带宽是多少？

• 有没有简单的方法来计算这个？

Answer 1

PCIe 8x 在饱和前可以处理的最大带宽是多少？

单个 PCIe v3 通道的最大带宽为 985 MB/秒。（8.0 Gbit/秒）。

x8 意味着最多可以使用 8 个 PCIe 通道，理论最大值为 64 Gbit/sec。
这少于两个 40Gbit 链路。

所以你不能全速运行两个链接。不过在实践中可能就足够了。尤其是在流量突发的情况下。只要两个通道不会同时爆发。

Answer 2

做一点维度分析

将 7880 Mbytes per second 转换为 Gbits per second 我们得到 63.04 Gbits/sec

(63.04 gigabits per second)/(40 (gigabits per second)) = 1.576

如果您有这样的布局：

单元 (1) PCIe 3.0 插槽，x8 或更大 -> 一个 QSFP 卡，提供 1 x 40 Gbps 连接到 8 通道

单元 (2) PCIe 3.0 插槽，x8 或更大 -> 一个 QSFP 卡，提供 1 x 40 Gbps 连接到 8 通道

...然后它会正常工作，即使考虑到会有一些开销使得难以实现理论吞吐量的事实，因为每个 PCIe 插槽都有自己的通道。

但是，如果您有这样的布局：

单元 (1) PCIe 3.0 插槽，x8 或更大 -> 一个 QSFP 卡提供 (2 x 40 Gbps) 连接到 8 通道

...那么它就不能正常工作了，因为现在您需要的带宽不是 1.576 倍，实际上只有您需要的 0.788 倍带宽。

我猜制造商认为以太网层的协议开销会减慢到足够的速度，以至于这个限制无关紧要，否则 I/O 子系统或应用程序轮次（往返）中的一些瓶颈会进一步降低。他们将卡设计为使板上两个端口的最大理论吞吐量超过 8 通道的理论吞吐量似乎很奇怪，但如果您真的希望利用 80 Gbps 吞吐量的 78% 以上，您可能会只想买两张卡（理想情况下，每个卡一个端口，如果你能找到不同的型号），并将它们放在不同的插槽中，每个插槽至少有 8 个通道宽。