通过 RDMA 网络设备传递到 docker 容器

Question

我想将 infiniband 传递到 docker 容器，以便我可以通过 ipoib 运行一些高性能应用程序并使用 rdma。

目前，我正在使用 xen 虚拟机执行此操作。现在我正在考虑使用 CoreOS 和 docker 作为重量更轻且更易于管理的替代方案。

我有一个 IPoIB 设备 ib0，分配给它的静态 IP 为 10.10.10.10。我已经设法通过以下方式将其暴露在 docker 容器中：

docker run --net=host --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm -t -i ubuntu:14.04 /bin/bash

太好了，这有效。ib0 在 docker 容器内可用。

现在假设我有一个双端口 HCA。在主机上，它们显示为 ib0 和 ib1，并分配了两个 ip。10.10.10.10/ib0 和 10.10.10.11/ib1

现在我想将 ib0 传递给第一个容器，将 ib1 传递给第二个。由于 --net=host 选项，使用上述方法两者都会出现在两个容器中。但是，不指定它意味着设备根本不会出现。

另一种情况是我有很多机器使用 SR-IOV 将 infiniband 设备传递到 xen 虚拟机。我如何才能将虚拟功能 infiniband 设备传递给 docker 容器并使其出现？

注意：管道在这种情况下不起作用，但如果我更好地理解它，它可能会被黑客入侵以做我想做的事。我只是不太明白它在做什么......还没有。

Answer 1

现在我可以回答我自己关于如何做到这一点的问题。

使用我刚刚修补的管道以与 Infiniband 或 RDMA IPoIB 设备配合使用。

你像这样运行它。

~ $ docker run --device=/dev/infiniband/uverbs0 --device=/dev/infiniband/rdma_cm -d container 
~ $ pipework ib0 container-id ip/netmask

由于 IPoIB 设备不支持桥接，因此发出命令后，整个 ib0 设备对主机隐藏。即它被移动到容器的网络命名空间。

要在不桥接的情况下获得类似桥接的功能，请使用 SR-IOV 并通过管道传递虚拟功能。

最新版本使用类似于 macvlan 的虚拟 IPoIB。因此，真实的 ib0 在主机中仍然可见。它的工作原理与以太网版本非常相似。