带有 iSCSI SAN 的 Esxi 在运行多个虚拟机时变慢

Question

我有一台带有 ESXi 5 和 iSCSI 连接网络存储的服务器（freenas 上的 4x1Tb Raid-Z）。这两台机器通过千兆以太网相互连接，中间有一个 procurve 交换机。

过了一会儿，如果我有很多（4-5 个或更多）虚拟机在运行，它们就会开始无响应（在任何事情发生之前都有很长的延迟）。我们正在努力寻找这背后的原因。

今天我们查看esxtop，发现那个iSCSI LUN的DAVG保持在70-80。我读到 +30 很关键！

是什么导致了这些高响应时间？

Answer 1

您可能已经知道，DAVG 指的是磁盘延迟，是的，超过 30 毫秒通常会显着降低性能和响应速度。延迟可能是由很多问题引起的，但首先，您的磁盘必须能够处理您向它们抛出的 IO 负载。

IO 负载不仅指每秒 IO 的数量 (IOPS)，还指模式。随机（模式）I/O 几乎是您对虚拟化服务器的期望，因此从随机 I/O 的角度来看，您的磁盘配置需要做得很好。不幸的是，RAID-Z 不符合要求。根据甲骨文：

随机输入的情况是考虑 RAID-Z 时需要特别注意的一种情况。

实际上，作为第一个近似值，N 磁盘 RAID-Z 组在提供的随机输入 IOPS 方面将表现为单个设备。因此，每个具有 200-IOPS 能力的 10 个磁盘组设备将在全局范围内充当具有 200-IOPS 能力的 RAID-Z 组。这是在没有与镜像相关的 2 倍块开销的情况下实现适当数据保护所要付出的代价。

Oracle 在这里表示，RAID-Z 集可以处理与该组中的单个磁盘大致相同数量的随机 IOPS。单个 7.2k 磁盘可以执行大约 80 IOPS（这可能是一个很大的数字，这取决于您问谁），这意味着在 RAID-Z 中，您的整个阵列只能执行 80 随机 IOPS。在这么少的 IOPS 上运行 5-7 个服务器是性能糟糕的秘诀。

如果您在 RAID-10 组中配置 4 个驱动器，您会看到更好的性能。如果您需要超过 2TB 的 RAW 容量（这是您在 RAID-10 中获得的容量），请执行 RAID-5。在这种情况下，两者都将为您提供比 RAID-Z 更好的随机 I/O 性能。