NFS 存储 VMware 磁盘映像的最佳文件系统选择

Question

目前，我们使用 iSCSI SAN 作为多个 VMware ESXi 服务器的存储。我正在研究将 Linux 服务器上的 NFS 目标用于其他虚拟机。如果可以提供显着优势，我也愿意使用替代操作系统（如 OpenSolaris）。

哪种基于 Linux 的文件系统支持非常大的连续文件（如 VMware 的磁盘映像）？或者，人们是如何在 OpenSolaris 上找到 ZFS 来处理此类工作负载的？

（这个问题最初是在 SuperUser 上提出的；如果您知道如何迁移，请随时在此处迁移答案）。

Answer 1

我真的建议你看看 ZFS，但要获得不错的性能，你需要选择一个专用设备作为 ZFS 意图日志 (ZIL)。基本上，这是一个小型设备（几 GB），可以极快地写入（20-100K IOPS），这让 ZFS 立即确认写入已同步到存储，但等待最多 30 秒才能实际将写入提交到硬盘你的游泳池。如果发生崩溃/中断，ZIL 中任何未提交的事务都会在挂载时重播。因此，除了 UPS 之外，您可能还需要一个带有内部电源/超级电容器的驱动器，以便任何待处理的 IO 在断电时都可以永久存储。如果您选择不使用专用 ZIL 设备，则写入可能具有高延迟，从而导致各种问题。假设你对 Sun 不感兴趣

• DDRDrive X1 - PCIe x1 卡中的 4GB DDR2 + 4GB SLC 闪存，专为 ZIL 使用而设计。写入到 RAM；在断电的情况下，它会在 <60 秒内将 RAM 同步到 NAND，由超级电容器供电。（50k-300k IOPS；直接 2000 美元，.edu 1500 美元）
• Intel X25-E 32GB 2.5inch SSD (SLC, but no super cap, 3300 write IOPS); [390 美元@亚马逊][11]
• OCZ Vertex 2 Pro 40GB 2.5 英寸 SSD（超级电容，但 MLC，20k-50k 写入 IOPS）；435 美元@亚马逊。

一旦你完成了 OpenSolaris/Nexenta + ZFS 的设置，有很多方法可以在你的 OpenSolaris 和 ESX boxen 之间移动块；什么适合您在很大程度上取决于您现有的基础设施（L3 交换机、光纤卡）和您的优先级（冗余、延迟、速度、成本）。但是由于您不需要专门的许可证来解锁 iSCSI/FC/NFS 功能，您可以评估您拥有的任何硬件并选择您最喜欢的：

• iSCSI 目标（CPU 开销；OpenSolaris 中不支持 TOE）
• 光纤通道目标（光纤卡并不便宜）
• NFS（VMWare + NFS 可能很挑剔，限制为 32 个安装）

如果您无法花费 500 美元进行评估，请在禁用和不禁用ZIL 的情况下进行测试，以查看 ZIL 是否是瓶颈。（可能是）。不要在生产中这样做。暂时不要使用 ZFS 重复数据删除，除非您还有大量 RAM 和用于 L2ARC 的 SSD。一旦你设置好它肯定很好，但你肯定会在玩重复数据删除之前尝试做一些NFS 调整。一旦让 1-2 Gb 链路饱和，8gb FC、10gigE 和 infiniband 就有增长机会，但每个都需要大量投资，即使是进行评估也是如此。