hoo*_*enz 9 virtualization linux xen sr-iov
我现在已经花了几天时间，我已经设法让 SR-IOV 与使用最新固件的 Mellanox Infiniband 卡一起工作。
虚拟功能在 Dom0 中显示为
06:00.1 网络控制器：Mellanox Technologies MT27500 系列 [ConnectX-3 虚拟功能] 06:00.2 网络控制器：Mellanox Technologies MT27500 系列 [ConnectX-3 虚拟功能] 06:00.3 网络控制器：Mellanox Technologies MT27500 系列 [ConnectX-3 虚拟功能] ] 06:00.4 网络控制器：Mellanox Technologies MT27500 系列 [ConnectX-3 虚拟功能]
然后我从 Dom0 分离了 06:00.1 并将其分配给 xen-pciback。
我已将其传递给 Xen 测试域。
测试 DomU 中的 lspci 显示：
00:01.1 网络控制器：Mellanox Technologies MT27500 系列 [ConnectX-3 虚拟功能]
我在 DomU 中加载了以下模块
mlx4_ib
rdma_ucm
ib_umad
ib_uverbs
ib_ipoib
mlx4 驱动程序的 dmesg 输出显示：
[ 11.956787] mlx4_core: Mellanox ConnectX core driver v1.1 (Dec, 2011)
[ 11.956789] mlx4_core: Initializing 0000:00:01.1
[ 11.956859] mlx4_core 0000:00:01.1: enabling device (0000 -> 0002)
[ 11.957242] mlx4_core 0000:00:01.1: Xen PCI mapped GSI0 to IRQ30
[ 11.957581] mlx4_core 0000:00:01.1: Detected virtual function - running in slave mode
[ 11.957606] mlx4_core 0000:00:01.1: Sending reset
[ 11.957699] mlx4_core 0000:00:01.1: Sending vhcr0
[ 11.976090] mlx4_core 0000:00:01.1: HCA minimum page size:512
[ 11.976672] mlx4_core 0000:00:01.1: Timestamping is not supported in slave mode.
[ 12.068079] <mlx4_ib> mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v1.0 (April 4, 2008)
[ 12.184072] mlx4_core 0000:00:01.1: mlx4_ib: multi-function enabled
[ 12.184075] mlx4_core 0000:00:01.1: mlx4_ib: operating in qp1 tunnel mode
我什至出现了 ib0 设备。
ib0 Link encap:UNSPEC HWaddr 80-00-05-49-FE-80-00-00-00-00-00-00-00-00-00-00
inet addr:10.10.10.10 Bcast:10.10.10.255 Mask:255.255.255.0
UP BROADCAST MULTICAST MTU:2044 Metric:1
RX packets:117303 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:256
RX bytes:6576132 (6.5 MB) TX bytes:0 (0.0 B)
我什至可以在本地 ping 10.10.10.10。
但是，这些 ping 不会通过 infiniband 结构发出。
似乎是因为链接已关闭。ibstat 显示：
CA 'mlx4_0'
CA type: MT4100
Number of ports: 1
Firmware version: 2.30.3000
Hardware version: 0
Node GUID: 0x001405005ef41f25
System image GUID: 0x002590ffff175727
Port 1:
State: Down
Physical state: LinkUp
Rate: 10
Base lid: 9
LMC: 0
SM lid: 1
Capability mask: 0x02514868
Port GUID: 0x0000000000000000
我如何得到它？domU 链接是 UP 但不是 VF 链接？
答案实际上在这里找到：根据此链接：http : //www.spinics.net/lists/linux-rdma/msg13307.html
我需要什么才能使从 VF 的端口变为活动状态？我在不同的机器上运行 opensm 3.3.13，它够新吗？（SR-IOV 需要任何 SM 支持吗？）
是的，正如 Hal 所指出的，至少你需要 opensm 3.3.14 ( http://marc.info/?l=linux-rdma&m=133819320432335&w=2 ) 因为它是第一个支持 alias-guid 等需要的版本SRIOV，3.3.15 现在也出来了，所以你想要支持这个的第二个版本......基本上你需要 PPF 的 IB 链接和从属设备来获得为它注册的别名 guid@SM。我们（IL 团队）周二/周三休假，今晚将尽力为您提供更多详细信息，如果没有，明天肯定会。
我现在已经升级了 OpenSM，很快就会回来报告。
编辑：好的，它现在可以工作了。但是，我收到了opensm 的日志井喷。OpenSM 进程每秒写入数百个表单条目：
Sep 30 20:36:26 707784 [7DC1700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 707810 [7DC1700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708096 [8DC3700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708119 [8DC3700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708391 [FF5B0700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708421 [FF5B0700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708696 [3DB9700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708719 [3DB9700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
当我重新启动并为 Dom0 提供更多内存时，上述错误消息消失了。我目前有 2GB 分配给它并关闭自动气球。不幸的是，他们无缘无故地回来了。所以我在这里提出了一个与此相关的新问题
我不确定为什么它可以在 dom0 中工作，但就我而言，我必须在具有 VF 的 Dom0 上运行 OpenSM。我认为这是因为在 Dom0 上运行的 OpenSM 实例知道 VF 并且可以通告它们而另一个节点上的子网管理器不知道？这是我的猜测。我希望另一个 xen 节点也能接收到它的 VF。这可能最终成为另一个问题。目前它使用单个 Xen 节点。
必须在虚拟机管理程序主机上安装并启动 OpenSM 才能启动状态。然后使用选项启动 OpenSM：PORTS="ALL"。
| 归档时间： |
|
| 查看次数： |
3061 次 |
| 最近记录： |