如何破解 ESXi 和 VNXe 之间的 1 Gbit iSCSI 限制

Question

我的 iSCSI 网络出现了大问题，似乎无法尽可能快地运行。

因此，我已经尝试了几乎所有方法来从我的 SAN 中获得全部性能，并让 VMware 和 EMC 的专家参与其中。

我的设备的简短描述：3x HP DL360 G7 / vSphere 5.5 / 4 个板载网卡 / 4 个 PCIe Intel 网卡用于 iSCSI 2x HP 2510-24G 1x EMC VNXe 3100 / 2 个存储处理器，每个都有 2 个 iSCSI 专用网卡 / 24x RAID15k SAS / 6x 7.2k SAS RAID6

我采用了最佳实践并将存储池均匀地放在两个 iSCSI 服务器上。我创建了 2 个 iSCSI 服务器，每个存储处理器上一个。请参阅我的 iSCSI 配置的图像。

iSCSI 流量通过 VLAN 分离（禁止为其他 VLAN 设置），我什至在 29xx 系列的另一台 HP 交换机上尝试过。启用流量控制（也尝试禁用），禁用 Jumbo。不涉及路由。

在 ESX 主机上，所有 iSCSI NIC 都在使用，因为我对每个数据存储都使用了循环设置。我还尝试使用 1 IO 的路径更改策略，因为许多其他人似乎已经通过这种方式获得了性能。我也尝试了内部网卡（Broadcom），但没有区别。在交换机上，我可以看到端口在 ESX 端和 VNXe 端的使用非常均匀。我有一个完美的负载平衡，但是：我总共不能超过 1 Gbit。我确实了解 VNXe 已针对多个连接进行了优化，而轮循机制也确实需要这样做，但即使我在 2 个主机和 2 个数据存储（使用不同的 iSCSI 服务器）之间执行存储 vMotion，我也可以看到大约 84 MBit/ s 通过 Unisphere 网络界面。我经常可以看到那条线的值完全相同，我不敢相信我的磁盘不会 没有交付更多或任务要求不够高。它变得更好：每台主机和每个存储处理器上只有一根电缆，我确实实现了相同的性能。所以我得到了很多冗余，但根本没有额外的速度。

正如我看到很多人在谈论他们的 iSCSI 性能，我非常想知道我的配置有什么问题（已经过 VMware 和 EMC 培训人员的测试和验证）。我很感谢每一个意见！

编辑：

是的，我已将 vMotion 配置为使用多个网卡。此外，存储 vMotion 始终通过 iSCSI 适配器，而不是 vMotion 适配器。我附上了我的配置截图。

我知道存储 vMotion 不是基准，但是最近几天我不得不做很多这样的事情，上限一直在 80 MB/s 左右。RAID 10 中的 6 个 15k 600 GB SAS 磁盘池应该可以轻松放置更多磁盘，您不觉得吗？我为你做了一个 IO Meter 测试 - 尝试了其中的一些，最快的是 256 KiB 100% Read。我得到了 64.45 MB/s - 我的 Unisphere 显示的速度也差不多。这是在存储在 6x 15k 300 GB SAS 磁盘 (RAID 10) 池中的 VM 中，在一天中的这个时候几乎没有任何其他活动。

编辑2：

很抱歉重复的用户名，但我在工作时写了这个问题，它没有使用我在 Stock Overflow 上已经获得的用户名。但是，这是显示我的循环设置的屏幕截图。所有主机和所有商店都是如此。

Answer 1

您可能无法生成足够的 IOPS 来使其真正发挥作用。
请查看此处，了解如何将设置从默认的 1'000 IOPS 更改为更小的值。（这是 symmetrix 特定的，但您可以对 VMWare Round Robin Provider 执行相同的操作）

然而，我还不确定它是否真的能够与一个数据存储完全并行地利用多个链接。我认为您必须对多个数据存储并行进行 IOMeter 测试才能看到好处。（虽然不是100%确定）