如何为 CentOS 6 配置 RAID 5,尤其是条带大小,具有 24 x 1.2 TB 驱动器?

Ste*_*ige 8 raid performance centos raid5 centos6.5

对于具有 24 个 1.2TB 磁盘(和 1TB RAM)的Dell R920,我希望设置 RAID 5 配置以实现快速 IO。该服务器将用于托管 KVM 虚拟机,这些虚拟机将读取/写入各种大小的文件,包括非常大的文件。我对数据安全不是很感兴趣,因为如果服务器由于任何原因出现故障,我们只会在更换故障部件后从裸机重新配置服务器。 因此,性能是主要关注点。 我们正在考虑 RAID 5,因为它允许我们将数据分布在多个心轴上,从而为我们提供更好的性能,虽然不是我们主要关注的问题,但也为我们提供了一些数据保护。我们的网卡是双 10Gbps。

我将此问题仅限于 RAID 5,因为我们认为这将提供最佳性能。只有当有令人信服的性能原因时,我们才会考虑其他因素。但是,我想我更喜欢与 RAID 5 配置相关的答案。

好的,综上所述,这是我们目前的配置思路:

  • 24 个硬盘:RMCP3:1.2TB、10K、2.5" 6Gbps
  • RAID 控制器:H730P、12Gbps SAS 支持、2GB NV 缓存
  • 1 个热备件(只是为了在驱动器确实发生故障时为我们提供更长的使用寿命)
  • 23 个数据驱动器(其中 1 个作为奇偶校验,22 个留给数据)
  • 条带大小:1MB(1MB/22 个数据驱动器 = 每个磁盘约 46.5KB——或者,我是否误解了条带大小)?
  • 读取策略:自适应预读
  • 写策略:写回
  • 磁盘缓存策略:已启用

如果条带大小是数据驱动器的总和,那么我认为每个驱动器约 46.5KB 将为我们提供非常好的吞吐量。如果条带大小是每个主轴,那么我就错了。

条带大小是否也是单个文件占用的大小?例如,如果有一个 2KB 的文件,选择 1MB 的条带大小是否意味着我们几乎浪费了整兆字节?或者多个文件可以存在于一个条带中吗?

最后,当我们安装 CentOS 6.5(或最新版本)时,我们是否需要做一些特殊的事情来确保文件系统以最佳方式使用 RAID?例如,mkfs.ext4有一个选项-E stride我被告知应该对应于 RAID 配置。但是,在 CentOS 安装过程中,有没有办法做到这一点?

非常感谢您对配置 RAID 5 以实现快速 IO 的想法。

eww*_*ite 12

请在您的控制器和驱动器设置中使用 RAID 1+0。如果您需要更多容量,可以使用像 RAID 50/60 这样嵌套 RAID 级别。您可以在少量企业 SAS 磁盘(8 个驱动器或更少)上使用 RAID 5,因为重建时间不错。然而,24 个驱动器是一个可怕的错误。(哦,禁用单个磁盘缓存功能......危险)

I/O 和本地存储性能有很多方面。有 I/O 操作/秒,有吞吐量,有存储延迟。RAID 1+0 在这两者之间取得了很好的平衡。这里的积极方面是您正在使用企业磁盘、功能强大的硬件控制器和大量磁盘。您需要多少容量?

您可能会遇到可以在虚拟磁盘组中使用的驱动器数量的限制。PERC/LSI 控制器传统上将其限制为 16 个驱动器,用于单个 RAID 级别和 RAID 1+0。用户指南确认了这一点您将无法在单个 RAID 5 或单个 RAID 1+0 组中使用所有 24 个磁盘。

另一个需要考虑的方面是,根据您的工作负载,您可以在某些 PERC 控制器上使用LSI Cachecade功能来利用 SSD 缓存。它可能无法用于此,但了解您的 I/O 模式将有助于定制存储解决方案。


至于 ext4 文件系统创建选项,其中大部分将由您的硬件 RAID 控制器抽象。您应该能够在此处创建没有任何特殊选项的文件系统。您所指的参数将对软件 RAID 解决方案产生更大的影响。


Gra*_*ant 5

不要在 24 个 1TB 磁盘上使用单个 RAID 5 阵列!我不太关心你喜欢限制答案,这是一个坏主意,你应该看看其他选择。

每个磁盘出现故障的几率都会增加。重建所需的时间也是如此。当一个驱动器出现故障并更换它时,它将在所有磁盘上使用尽可能多的 IO 来为新磁盘构建数据。在此过程中,您剩余的 23 个良好磁盘中的一个很可能会发生故障,从而迫使您从备份中恢复服务器。你说你不在乎……但你愿意接受每月做一次吗?每周一次?随着磁盘老化,它很可能会变得如此糟糕。

此外,如果您想要性能,RAID5 将您引向错误的方向。在许多情况下,RAID5 的性能比其他选项差,因为它必须为每次写入计算奇偶校验,然后也将其写入驱动器。RAID5 不是为性能而设计的。

如果您真的不关心您的数据,请使用 RAID 0。但即便如此,创建几个单独的阵列,而不是一个巨大的 24 磁盘 RAID 0。

如果您想要性能和一些完整性,请使用 RAID10。您将失去一些磁盘空间,但性能却得到了相当大的提升。

或者,您可以查看诸如 ZFS 之类的东西,它们从头开始设计用于处理磁盘上的大量数据。