建议：为虚拟化存储配置 10GbE NAS 堆栈

Question

我会尽我所能来表达这个，所以它不被视为购物清单。

我们已经成功运行了一段时间的开发/测试 ESXi 环境，在 HP MSA2012fc 入门套件（带有基于 Brocade 的 HP B 类 SAN 交换机）上使用了几个 Dell PE2950III 服务器。这对我们来说非常有效，但在开发/测试中，它在正常运行时间/性能方面存在各种警告。

在任何情况下，开发/测试平台的公认成功导致了对更加“生产就绪”的虚拟化平台的呼吁。我们目前正在起草建议。

然而，针对现有堆栈的抱怨之一是缺乏对其他虚拟化技术（HyperV、Xen 等）的支持，因为 SAN LUN 已完全分配并格式化为 VMFS。这是我们被告知要克服的问题，但通常情况下，没有迹象表明 HyperV/Xen 被采用（而且我们并不特别想通过将 LUN 分配到这样的位置来浪费“昂贵”的存储资源）不会被使用）。

因此，我们目前的思路是放弃传统的光纤 SAN，转而采用直接的 CentOS 机器（可能是更高端的 HP ProLiant DL380p Gen8），运行 NFS 和 Samba/CIFS 守护进程，带有 10GbE 交换机（可能是Cisco Nexus 5000/5500 系列）。

原因是 ESXi 头可以谈论 NFS，HyperV 头可以谈论 CIFS，但两者最终都指向相同的 XFS/RAID1+0 卷。

现在，我还不够环保，认为 10GbE 可以让我在磁头和磁盘之间获得真正的 10 Gb I/O 吞吐量，但我不知道我可以期望看到的开销类型NFS 和 CIFS 实现（以及当多个主机尝试与之交谈时可能会干扰的任何其他位）。

我很希望能至少也得近的持续磁盘读取直连磁盘/写速度，不过，为尽可能多的主机，我可以。查看各种驱动器制造商的网站，我大致预计该速度将在 140-160MB/s 左右（如果我不知道，请告诉我）。

任何人都可以提供关于 Linux/NFS/Samba 或 10GbE 交换机配置的哪些建议/指南/进一步阅读可能有助于实现这一目标？

Answer 1

我理解从纯粹的块存储转向更灵活的东西的愿望。

但是，当现在有多种存储设备软件产品可用时，我会避免为此使用直接的 Linux 存储堆栈。Linux 方法可以工作，但缺乏管理功能/支持、需要的 XFS 调整（此处和此处）以及它不是专门构建的存储操作系统的事实是缺点。

除此之外，XFS/RHEL 代码维护者的一些烦人问题和影响系统平均负载的令人讨厌的内核错误，以及您描述的 Linux 组合变得不那么吸引人了。

一个纯粹的Linux可以工作得痊愈为了这个目的，但是设置肯定会成为常态的外部，并且可以使用像深奥的解决方案，在Linux上的ZFS或不那么准备就绪的黄金时段 增加了Btrfs。稍后会详细介绍这些内容。

我经常这样做，在我的大多数 VMware 部署中选择在基于 ZFS 的存储上使用 NFS，而不是像 HP P2000 阵列这样的入门级 SAN。我使用 L2ARC（读取）和 ZIL（写入）SSD 和 DRAM 缓存设备来扩充 ZFS 安装。此外，四年来我一直在使用 10GbE 和这种类型的设置。

目前我将专注于NexentaStor，因为这是我大部分时间使用的设备软件......

我为 ZFS 存储构建了许多基于 HP ProLiant 的系统，从多合一的 VMware 主机到独立的DL380 存储“设备”，再到完整的多路径 SAS 连接到级联存储 JBOD 单元（前部和后部）。

NexentaStor 和 NFS/CIFS。

Nexenta 支持将文件和块存储呈现给外部系统。我可以使用 24 个磁盘池，并为需要本机块存储的主机提供 iSCSI 存储，为我的 VMware ESXi 基础架构提供 NFS，为少数 Windows 客户端提供 CIFS。这个空间得到了有效利用，并且是从游泳池的存储空间中挖出来的。例如，没有人造帽子。压缩是透明的，并且在 VM 场景中非常有用（在网络上移动较少）。

10GbE 有帮助，但这取决于您向虚拟化主机呈现的内容。它们也是 1GbE 还是 10GbE？

基准：

我将对在通过 10GbE 连接到 NexentaStor SAN 的 ESXi 主机上运行的来宾虚拟机进行快速测试。

这是一个 6 磁盘阵列。（在 HP D2600 机柜中 - 600GB 15k SAS）

[root@Test_VM /data]# iozone -t1 -i0 -i1 -i2 -r1m -s6g 
        Iozone: Performance Test of File I/O

        Run began: Mon Feb 11 18:25:14 2013
        Record Size 1024 KB
        File size set to 6291456 KB
        Command line used: iozone -t1 -i0 -i1 -i2 -r1m -s6g
        Output is in Kbytes/sec

        Children see throughput for  1 initial writers  =  128225.65 KB/sec
        Children see throughput for  1 readers          =  343696.31 KB/sec 
        Children see throughput for 1 random readers    =  239020.91 KB/sec
        Children see throughput for 1 random writers    =  160520.39 KB/sec

这是一个繁忙的 16 磁盘阵列（在 HP D2700 机箱中 - 300GB 10k SAS）。

[root@Test_VM2 /data]# iozone -t1 -i0 -i1 -i2  -r1m -s4g
        Iozone: Performance Test of File I/O

        Run began: Mon Feb 11 16:33:53 2013
        Record Size 1024 KB
        File size set to 4194304 KB
        Command line used: iozone -t1 -i0 -i1 -i2 -r1m -s4g
        Output is in Kbytes/sec

        Children see throughput for  1 initial writers  =  172846.52 KB/sec
        Children see throughput for  1 readers          =  366484.00 KB/sec
        Children see throughput for 1 random readers    =  261205.91 KB/sec
        Children see throughput for 1 random writers    =  152305.39 KB/sec

来自同一次运行的 I/O 图...千字节/秒和 IOPS 度量。