IPoIB（IP over InfiniBand）与 RDMA 性能

Question

我部分继承了一个 Linux HA 集群，该集群的中心目前在两个 Debian 主机之间通过 IPoIB（IP over InfiniBand）提供与 DRBD 8 的连接。它没有坏，所以我不会修理它。

我还注意到 DRBD 9 支持 RDMA，因此问题可能会出现在将来是否通过 RDMA（即“本机”InfiniBand）替换与 DRBD 9 的连接。

由于我不想在生产系统上运行性能测试，我想知道：是否有已发布的 IPoIB 与 RDMA/InfiniBand 的性能比较。例如，我是否可以预期从 IPoIB 切换到 10%、50% 或 100% 的数量级的带宽/延迟增益？可以期待什么？

Answer 1

你看过这些介绍吗？ https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand 只是提供 RDMA 的特定网络架构，但您的性能将取决于您正在运行的应用程序类型。我的经验是基于学术/研究系统，主要使用基于 MPI 的应用程序。在某些情况下，我看到 RDMA 的性能比 IPoIB 好 20%。但是我不知道有任何这样的基准测试，但是有很多学术论文和供应商白皮书。如果您只是考虑 I/O，那么请考虑：文件大小、读取次数与写入次数。RDMA 通常为随机小读取提供了很大的好处，但对写入的好处很小。您可能想要阅读 RoCE（融合以太网上的 RDMA）和 InfiniBand 本机 RDMA。