新的 RAID hdparm 慢

Question

我刚买了一个 HP DL180 G6，它有 25X 146GB 15K SAS 驱动器、36GB RAM、2X 2.0GHz Xeon 1333Mhz FSB。为了好玩，我将它们全部配置在一个 RAID 0 中，并在其上安装了 Ubuntu，以查看在带有 512MB RAM 的 HP Smart Array P410 控制器上使用 25 个驱动器的速度有多快。

当我运行 hdparm -tT /dev/mapper/concorde--vg-root 我得到

Timing cached reads:   5658MB in  1.99 seconds = 2834.13 MB/sec
Timing buffered disk reads: 1192 MB in  3.00 seconds = 397.13 MB/sec

当我在只有 4X 15K 驱动器的另一台服务器（HP DL360 G5 - 32GB RAM - 2X 2.66GHz 667Mhz FSB）上运行相同的命令时，我得到：

Timing cached reads:   13268 MB in  1.99 seconds = 6665.18 MB/sec
Timing buffered disk reads: 712 MB in  3.00 seconds = 237.17 MB/sec

我原以为它会比旧的运行速度快 5 倍，而不是更慢。该服务器旨在提供流媒体，因此我需要超快速访问和传输以跟上 2 个 1Gb 网络端口，我希望在执行其他任务时有时会最大化。

我只是将一堆 400MB MP4 文件的副本放在一起，以获得 45GB 从一个目录复制到另一个目录，花了 96 秒，这对于我听说过的关于 RAID 0 性能提升的所有内容来说似乎都是错误的。

它被设置为硬件突袭，我需要在 Linux 中做什么才能利用应该存在的额外速度吗？我使用哪种 Linux 版本有关系吗？我对 CentOS 和 Ubuntu 很满意，但如果需要，我可以做其他的。

我应该使用不同的命令来衡量性能吗？我昨天尝试使用 iotop 和 iostat 来监控 RAID 使用情况，但在通过 FTP 复制 2GB 文件时无法报告任何使用情况，因此在尝试设置基准、比较跨服务器的性能并对其进行监控时遇到了困难，所以我知道硬盘驱动器何时用尽并需要更换为 SSD。

Answer 1

哇……这里有很多问题要解决。

• 磁盘性能不仅仅与吞吐量有关。需要处理 IOPS、延迟和服务时间的概念。大多数工作负载本质上有点随机，因此从 IOPS 的角度来看，阵列中的 25 个企业磁盘总是胜过 4 个磁盘。

• hdparm不是衡量企业存储基准的正确工具。查看专门构建的程序，例如iozone和fio。

一个可能对您有帮助的示例 iozone 命令是（从您希望测试的磁盘阵列上的大目录运行）：iozone -t1 -i0 -i1 -i2 -r1m -s72g

• 此服务器的设计意味着您的磁盘背板已超额预订。服务器上有一个扩展器芯片，这 25 个磁盘共享到 RAID 控制器的 4 通道 6Gbps 连接。这意味着阵列的理论最大吞吐量为 24Gbps （或 3,000 兆字节/秒）。这是一个上限，您将看不到超出该点的性能。

• 就硬件驱动程序和支持而言，Ubuntu 几乎从来都不是最佳选择。服务器并未正式支持它。CentOS 或 RHEL 更适合这种硬件。

• HP Smart Array 控制器能够将一组磁盘（一个阵列）分割成多个不同容量和 RAID 级别的逻辑驱动器。下面的示例显示了一个 4 磁盘阵列，分为三个逻辑驱动器。其中一个逻辑驱动器配置了与其他逻辑驱动器不同的 RAID 级别。

插槽 0 中的 Smart Array P420i（嵌入式）（序列号：0014380296200A0）

  logicaldrive 1 (72.0 GB, RAID 1+0, OK)
  logicaldrive 2 (1024.0 GB, RAID 1+0, OK)
  logicaldrive 3 (869.1 GB, RAID 5, OK)

  physicaldrive 1I:2:1 (port 1I:box 2:bay 1, SAS, 900.1 GB, OK)
  physicaldrive 1I:2:2 (port 1I:box 2:bay 2, SAS, 900.1 GB, OK)
  physicaldrive 1I:2:3 (port 1I:box 2:bay 3, SAS, 900.1 GB, OK)
  physicaldrive 1I:2:4 (port 1I:box 2:bay 4, SAS, 900.1 GB, OK)

• 在任何时候都不应将RAID 0用于此处的逻辑驱动器。如果您可以节省空间，RAID 1+0 在这种硬件组合下会表现得非常好。

• 您已经安装了 LVM。使用这些 HP Smart Array RAID 控制器时，这不是最佳方法。它是一个额外的抽象层，您不会看到最佳性能（尽管可以对其进行调整以使其正常工作）。

• 固件。您需要更新服务器和相关组件的固件。每个 HP RAID 控制器固件版本都会改​​进功能。

• RAID 缓存配置。确保 RAID 电池健康，并且缓存读/写平衡适合您的工作负载。

• 文件系统选择。XFS 是流媒体的不错选择。但是您要求的费率相对较低。任何现代 Linux 文件系统都应该没问题。