基于 ZFS 的 DIY 存储系统的硬件推荐

Question

希望利用闲置的旧服务器作为概念验证...以下是 Dell PE 2900 的规格：至强 5110 - 2P、12 GB RAM、8 个 300 GB 15K 驱动器、Perc 5i+256 MB 缓存

服务器和主机上需要哪些额外的硬件？1GB 网卡，1GB 交换机？

有 4 个 ESX 服务器可以连接到此存储服务器（iSCSI 或 NFS）

推荐什么软件？开源软件？Nexenta 社区版？自由NAS？

感谢任何指向指南、教程的链接。

马鲁蒂

Answer 1

对于 ZFS，有许多因素会影响总体成本、性能以及您对所构建系统的满意度。

可支持性 如果您在遇到问题时需要呼叫某人，不要自己动手，请购买 Sun 7000 统一存储设备。它们有点贵，但您一分钱一分货。高质量的硬件，最近的 OpenSolaris 代码以设备形式出现......哦，还有分析。这是您可以从 Oracle 购买 OpenSolaris 支持的唯一方式，而且您的财力相对雄厚，可以与您的 Oracle 代表交谈，这可能是值得的。（这是给我上班的）

软件由于 Solaris 10 没有很酷的尖端 ZFS 功能（重复数据删除、非镜像 ZIL、COMSTAR iSCSI/FibreChannel 目标等），您将想要运行基于 OpenSolaris 位的某些东西。由于 OpenSolaris 本身已经死了，而且还没有围绕 Illumos 的完整发行版，请考虑使用 Nexenta。它基本上是 OpenSolaris 内核 + Debian 用户空间 (apt)。 Nexenta Core Platform可免费无限制使用，但如果您愿意支付支持费用，请考虑NexentaStor，尽管我不是每 TB 美元的粉丝（永久许可证起价为 800 美元 + 75 美元/TB）。

MIRRORED vs RAIDZ1/RAIDZ2 考虑到相同数量的驱动器，基本上是 IOPS 和容量之间的斗争。对于大磁盘 (1-2TB)，如果您认为镜像太昂贵，请务必使用双奇偶校验 (RAIDZ2)，因为多 TB 阵列的重建时间很容易超过一天。（更多：ZFS：镜像与 RAID-Z）。不要忘记冗余！= 备份。

驱动器我建议您考虑将存储从服务器机箱中分离出来。SuperMicro 制造了一些不错的机箱，但不可避免地，您会想要比适合您的机箱更多的存储空间，为什么不从一个不错的 SAS 机箱开始，然后在扩展时再购买一个。我会购买 7200RPM SATA 驱动器而不是 10k-15k SAS 驱动器，更多或镜像的主轴将以相同的 $$ 性能胜过使用 ZFS 的快速昂贵的磁盘。

内存购买大量内存。至少 12-16GB，如果您想考虑重复数据删除，则是两倍/三倍。

SSD如果您将 iSCSI 或 NFS 用于虚拟机存储，请务必为 ZIL 购买高端设备以加速同步写入（请参阅：我对上一个问题的回答）。为 L2ARC 购买一个/多个像样的 MLC SSD 作为二级读取缓存；如果您正在执行重复数据删除，您将需要 L2ARC 的 SSD 足够大以适合您的重复数据删除表。

配置ZFS 使文件系统的精简配置就像在大多数环境中创建目录一样简单。zfs create -V 40g pool/fsname然后zfs set shareiscsi=on pool/fsname你就完成了。使用快照'zfs 快照池/fsname@snapname; 克隆现有系统同样容易；zfs 克隆池/fsname@snapname 池/newfsname'。这些操作很快（0 - 5 秒）。

2010 年 7 月 10 日更新以反映有关如何使用硬件的建议：

由于 Perc6 不支持将磁盘作为一堆磁盘直接传递（讨论），因此您必须创建 8 个单磁盘 RAID 0 阵列。使用两个作为镜像对并在那里安装根卷。通过运行zpool create poolName mirror c0t0d0 c0t1d0 mirror c0t2d0 c0t3d0 mirror c0t4d0 c0t5d0（通过查看“格式”命令的输出替换您的磁盘 ID ），在第一次启动后将剩余的六个用作 3 个镜像对的条带集（想想 RAID10 ）。注意：由于如果故障磁盘（以及相关的 RAID0 集）在重启后丢失，PERC 可能会重新编号，因此您应该相应地记下驱动器序列号/cXtXdX/插槽和文档/标签。希望您永远不需要它，但是如果您必须迁移磁盘或禁止执行恢复，那么拥有该信息意味着可以减轻痛苦。

在收购 Oracle 之前，我肯定会推荐 OpenSolaris 而不是 Nexenta Core Platform，但现在我更倾向于 Nexenta CP。自 2010 年 3 月发布 OpenSolaris b134 以来，他们基本上是唯一继续定期更新的人。 可以在之间迁移 ZFS 池，但仅取决于磁盘版本上的 ZFS，您可以在池创建时指定（讨论，请参阅第 3 条消息） . 我从未使用过 FreeNAS 或 EON，因此无法对其发表评论。

至于 NFS 与 COMSTAR iSCSI，您应该使用巨型帧在千兆上进行测试。AFAIK，OpenSolaris/Nexenta 不支持 NIC 的硬件 TOE，但是如果您在 VMWare 端安装了启用 TOE 的 NIC，它们将减少 iSCSI 的 CPU 开销。您可以使用直接有线交叉进行测试，但对于多主机，您需要一个支持巨型帧的千兆交换机（最好是第 3 层交换机上的 iSCSI 优化 VLAN）。如果您有光纤卡，也可以测试 COMSTAR 光纤通道目标。

为了利用 ZFS（HDD + SSD）的混合存储功能，我会在没有专用 ZIL 设备的情况下模拟您的使用情况，看看性能是否足够好（条带/镜像 15k SAS 磁盘可能就足够了）。如果没有，通过一个/多个非生产虚拟机设置，暂时禁用 ZIL 并再次测量性能。如果您的性能要好得多，那么 ZIL 是您设置的瓶颈，而专用的 ZIL 设备将物有所值。该DDRDrive X1（$ 2000 $ 1500。埃杜）是专为ZIL使用只是一个PCI-E x1插槽，而不是驱动器托架。或者，您可以考虑用两个非冗余 2.5 英寸 SATA SSD 替换镜像启动磁盘。专供 ZIL 使用的超级电容器支持的 SSD（Vertex2Pro 32GB 435 美元）和一个不错的 MLC SSD（如Intel X25-M 80GB 230 美元）分成一个小分区用于 root，其余的用于 L2ARC。ZFS ARC 可以很好地使用更多 RAM，但 12GB 应该足以启动。

我会将基准测试工具的建议留给另一个问题（在很大程度上取决于您的存储 -> vm 路径、来宾操作系统和工作负载），但尽管存在学习曲线，但 DTrace 探针可以产生大量有用的数据（这就是 Sun 7000 系列分析发光）。最后两个注意事项，在开始之前更新您的 PERC6 固件和 BIOS，如果您为 L2ARC 购买 SSD，它可能需要几个小时才能变热，所以不要只是让它变冷。

Answer 2

试试这个来自 SUN 的食谱......啊...... Oracle：

http://developers.sun.com/openstorage/articles/opensolaris_storage_server.html

Answer 3

安装 OpenSolaris (b134) 的最新开发版本。

如果您想要性能，请使用您拥有的八个磁盘创建 4 个镜像 vdev。

为了获得更好的性能，请使用两个镜像 SLC SSD 作为日志设备，并使用另一个 SSD 作为缓存。