HP Smart Array 410/i 磁盘控制器上的 Hadoop JBOD 磁盘配置

nys*_*lsa 9 storage hp hp-smart-array hadoop hp-proliant

我正处于一些可用于设置 hadoop 集群的硬件的评估阶段。这个硬件是翻新的(带有 Smart Array 410/i 控制器的 hp G6 服务器),我们可能应该/必须使用它……我们还没有。我已经读到 410/i 控制器不允许按照 hadoop 的要求进行 JBOD 配置,有没有人可以证实这一说法?或不 ?似乎解决方法可能是在每个磁盘上配置 raid0,再次有人确认还是有其他配置方式?谢谢罗布

小智 7

Smart Array 410/i 控制器只允许创建 2 个 raid 设备,而无需添加可选的存储卡。因此,如果您的硬件只有 2 个驱动器,那就没问题了;你可以只做2个raid0。如果您有超过 2 个驱动器,您可能需要购买部件 #462974-001 - 256MB 电池支持的写入缓存 BBWC 内存模块。如果您不确定,请在配置实用程序中尝试一下,如果您需要购买内存插件,它会抱怨允许配置的 RAID 设备数量有限制。

我最近设置了一个 ZFS 服务器,使用其中一个磁盘和 12 个磁盘在 RAID0 模式下,它运行良好。由于您几乎可以禁用实际 raid 控制器的所有功能,因此它实际上与 JBOD 模式相同。

  • 虽然您可以在该控制器上创建多个 RAID 0 以与 ZFS 一起使用,但如果磁盘出现故障,则会出现问题。除非您重新启动,否则 ZFS 将无法识别替换。 (4认同)

Cho*_*er3 0

虽然 Pxxx 系列不允许直接 JBOD 配置,但如果您只是在所有磁盘上创建一个阵列,然后创建多个同等大小的 RAID0 阵列,那么就功能相似性而言,您就差不多了。也就是说,我对 Hadoop 的要求也有点怀疑,首先它无法真正知道真正的磁盘配置,因为它被 BIOS 隐藏了,其次因为考虑到 HP 控制器的考虑程度,它似乎过于规范,什么是阵列管理其磁盘的问题?

  • 感谢您的回答,HDFS(Hadoop 文件系统)通过跨多个节点复制块来具有内置冗余。RAID 0 比 HDFS 使用的 JBOD 配置慢,因为 I/O 受到 RAID 阵列中最慢磁盘的速度限制,JBOD 上的 I/O 是独立的,因此平均速度大于最慢磁盘的速度。Yahoo 进行的测试显示 JBOD 的性能优于 RAID 0:http://markmail.org/message/xmzc45zi25htr7ry (3认同)