主要参考资料

ZFS L2ARC (Brendan Gregg) (2008-07-22) 和ZFS and the Hybrid Storage Concept (Anatol Studler's Blog) (2008-11-11) 包括下图：

题

我是否应该将 SSD 层的垂直白线解释为偏好使用单独的SSD？

• 偏向于不单个磁盘上混合L2ARC和ZIL？

背景（回复评论）

就个人而言，在家里，我不太可能在任何可用的计算机上使用 L2ARC 或 ZIL。（我的日常电脑是 MacBookPro5,2 8 GB 内存和混合希捷 ST750LX003-1AC154。没有计划用 SSD 替换光驱。）

其他地方：在工作中会有一些套件的重新利用，但我没有日期或完整的细节。（混合使用 Xserve RAID x2 ......此时我不认为将它们提供给 ZFS，但我保持开放的心态。）

我对L2ARC 和 ZIL 的SSD 最佳实践的好奇心始于 ZEVO 领域中与性能相关的讨论——特别是下面提到的主题，其中用户在单个磁盘上同时拥有 L2ARC 和 ZIL。

其他参考资料和讨论

L2ARC 截图 (Brendan Gregg) (2009-01-30)

SLOG 截图 (Brendan Gregg) (2009-06-26)

[zfs-discuss] ZFS 根备份/“灾难”恢复和移动根池(2011-01-10) 建议不要在单个磁盘上混合使用三种东西（根池、ZIL 和 L2ARC） – …

我最近刚买了一台新服务器 HP DL380 G6。我用 LSI 9211-8i 替换了库存的智能阵列 p410 控制器。

我的计划是使用 ZFS 作为 XEN 的底层存储，它将在同一裸机上运行。

有人告诉我，您可以将 SATA 磁盘与智能阵列控制器一起使用，但由于消费驱动器缺少 TLER、CCTL 和 ERC，因此不推荐使用。是这种情况吗？

我想知道在 JBOD（RAID 直通模式）中使用 LSI 控制器是否真的像使用智能阵列控制器那样产生影响？

我知道尝试使用没有写缓存支持的 RAID 系统进行虚拟化对性能不利。但我正在考虑为 ZFS 添加一个 SSD。那会有什么不同吗？

我之所以如此痴迷于使用 ZFS 是为了进行重复数据删除和压缩。我不认为智能阵列控制器可以执行任何这些功能。

我在家里有一个简单的 ZFS 设置，四个磁盘镜像，8GB 内存和 120GB 英特尔 X25-M SSD 用于 L2ARC。我运行zpool add poolname cache cXtXdX然后生成负载并通过运行zpool iostat -v mypool. 几个小时后，L2ARC 已满，但究竟缓存了什么？

我可以窥视一下我的 ARC/L2ARC 中有什么吗？我知道某些块会映射到多个文件系统（由于快照、克隆或重复数据删除），但我仍然想对以下统计数据进行采样：

• 缓存的块类型：元数据。iSCSI，数据。等等。
• 年龄：每个区块在 L2ARC 中存在多长时间
• 哪些文件：缓存了部分内容的目录
• 文件系统细分：每个文件系统缓存 GB
• 块的非易失性副本的位置（驱动器/vdev）

我想 zdb 和/或 dtrace 将是日常工具，但真的不知道从哪里开始。

我真的希望这个问题不会被视为拖钓或寻求购买建议。这不是故意的。

我刚刚开始为一家小型广告公司（40 名员工）工作。几年前，我实际上已不再担任系统管理员（压力太大！），但是我们目前将 IT 工作外包给的公司做得很糟糕，我感到不得不参与其中并尽我所能改善事物。

目前，公司的所有数据都存储在一个 8TB 外置火线驱动器上，该驱动器连接到运行 OS X Server 10.6 的 Mac Mini，为整个公司提供文件共享（使用 AFP）。有一个备份驱动器，它实际上是一个包含两个以 RAID 0 排列的 3TB 硬盘驱动器的小盒 (arrggghhhh!)，有人在何时将其引入并使用 Carbon Copy Cloner 复制所有数据。这就是整个基础架构，以及整个备份和恢复策略。我彻夜难眠。

我刚刚开始使用 FreeBSD、ZFS、稀疏包和快照发送来增强备份过程，以获取异地所有内容。我认为这是一个可行的幕后解决方案，但对于人们的日常使用，我很挣扎。

考虑到数据的数量和重要性，我认为我们真的应该着眼于企业级存储解决方案、高可用性等，但整个公司一直都是 Mac，我找不到可以满足我们需求的设备. 不再有 Xserve；无机架存储；除了看起来不太好的Pegasus R6 之外，根本没有大规模存储；Mac Pro 有光纤通道，但它不是真正的服务器，而且价格高得离谱；Xsan 看起来即将退出；heartbeatd 和 failoverd 之类的东西显然已被删除来自狮子服务器；新的Mac Mini只有霹雳，严重限制了我们的选择；这个清单不胜枚举。我真的，真的不想在这里拖钓。我喜欢 Mac，但我真的不知道我应该在哪里寻找服务器的东西。

我已经考虑过使用 Linux 或 FreeBSD 和 netatalk 来提供具有这些操作系统带来的所有服务器优势的文件，但是我读过的一些内容让我怀疑这是否真的可行。此外，在我自己的（不可否认是非常粗略的）实验中，我一直在努力获得不错的传输速度。我想也有可能让每个人都关闭 AFP 并让他们使用 SMB 或 NFS，但我知道这可能会导致资源分叉和文件锁出现大问题。

我想那里肯定有很多 Mac 公司。如果你是一个系统管理员，你用什么？非常感谢收到任何建议。

我会尽我所能来表达这个，所以它不被视为购物清单。

我们已经成功运行了一段时间的开发/测试 ESXi 环境，在 HP MSA2012fc 入门套件（带有基于 Brocade 的 HP B 类 SAN 交换机）上使用了几个 Dell PE2950III 服务器。这对我们来说非常有效，但在开发/测试中，它在正常运行时间/性能方面存在各种警告。

在任何情况下，开发/测试平台的公认成功导致了对更加“生产就绪”的虚拟化平台的呼吁。我们目前正在起草建议。

然而，针对现有堆栈的抱怨之一是缺乏对其他虚拟化技术（HyperV、Xen 等）的支持，因为 SAN LUN 已完全分配并格式化为 VMFS。这是我们被告知要克服的问题，但通常情况下，没有迹象表明 HyperV/Xen 被采用（而且我们并不特别想通过将 LUN 分配到这样的位置来浪费“昂贵”的存储资源）不会被使用）。

因此，我们目前的思路是放弃传统的光纤 SAN，转而采用直接的 CentOS 机器（可能是更高端的 HP ProLiant DL380p Gen8），运行 NFS 和 Samba/CIFS 守护进程，带有 10GbE 交换机（可能是Cisco Nexus 5000/5500 系列）。

原因是 ESXi 头可以谈论 NFS，HyperV 头可以谈论 CIFS，但两者最终都指向相同的 XFS/RAID1+0 卷。

现在，我还不够环保，认为 10GbE 可以让我在磁头和磁盘之间获得真正的 10 Gb I/O 吞吐量，但我不知道我可以期望看到的开销类型NFS 和 CIFS 实现（以及当多个主机尝试与之交谈时可能会干扰的任何其他位）。

我很希望能至少也得近的持续磁盘读取直连磁盘/写速度，不过，为尽可能多的主机，我可以。查看各种驱动器制造商的网站，我大致预计该速度将在 140-160MB/s 左右（如果我不知道，请告诉我）。

任何人都可以提供关于 Linux/NFS/Samba 或 10GbE 交换机配置的哪些建议/指南/进一步阅读可能有助于实现这一目标？

我有一台 VMware ESXi 4.1 服务器，我最近在其中添加了 2x1TB SATA 驱动器。这台机器运行一个NexentaStor Community VM，它承载 ZFS 文件系统。在添加新驱动器之前，所有 ZFS zpool 都驻留在虚拟磁盘（VMDK 文件）中，该磁盘驻留在服务器的 Vmware 数据存储中，该数据存储位于硬件 RAID10 上。

新的 SATA 驱动器没有硬件冗余，所以我的目标是将它们直接连接到 NexentaStor VM 并从中创建一个 RAID1 zpool。

我按照这些说明为新的 SATA 驱动器创建了两个物理 RDM 文件，使用vmkfstools -z /vmfs/devices/disks/idnumber RDM1.vmdk -a lsilogic

将两个 RDM 磁盘添加到 VM 并在其上创建 raidz1 zpool 后，我开始将数据复制到 zpool。该池已脱机，我被告知有数千个校验和错误。

我在网上搜索，发现很多人抱怨同样的情况。（示例）我已经放弃使用 RDM 并创建了两个数据存储和两个 930GB VMDK 文件，我将把它们放在 RAIDz1 中。但是我想知道我哪里出错了。网上很多人说他们有这个配置工作。

我使用 RDM 而不是 VMDK 的目标是：

1. 使 VM 能够监视 SMART 状态
2. 允许 ZFS 访问整个磁盘（因为我知道这些不会用于其他任何事情）
3. 使驱动器在出现故障时易于热插拔
4. 如果需要，请允许我删除这些驱动器并将它们放置在另一个 ZFS 服务器中

我曾计划在我将在本周晚些时候设置的全新 ESXi …

我们在 HP P812 控制器上的 RAID 5 中配置了 3 个 3TB WD Red 驱动器，并安装了最新固件。

但是，驱动器在重新启动时会不断从阵列中随机删除，尽管并非总是如此。它总是一次只掉一个驱动器，问题似乎不会影响同样连接到 P812 的 WD Raptor。ACU 报告受影响的驱动器“丢失或未正确连接”，诊断程序仅报告驱动器丢失。热重新插入驱动器会导致控制器再次看到驱动器，但需要重新启动以使逻辑驱动器再次可用，因此循环继续。每 5 次重新启动中约有 1 次所有驱动器正确连接到阵列。

所有 4 个驱动器都使用 Mini SAS SFF-8087 至 4 SATA 扇出电缆连接到内部端口 5i。

我们在两个不同的（非 HP）环境中尝试了这种配置，但同样的问题影响了两者。

我们还在 P800 上尝试了这些磁盘，它们在那里运行良好（尽管由于 P800 的限制，只能识别 2TB 的磁盘）。

什么可能导致这个问题？

我有一个包含 8 个 1TB 驱动器的存储系统，这些驱动器使用 4k 扇区大小的“高级格式”。我计划在此硬件上运行 NexentaStor，并希望确保将 4k 扇区大小考虑在内。在使用 ZFS 创建根池和后续数据池时，有什么特别需要我记住的吗？

语境：

我有一个在 ESXi 上运行的 SAN 操作系统 (Nexenta)。它已经通过 VT-d 传递了几个 HBA。SAN 操作系统的所有 HBA 都已满（无空闲连接器）。我最近为 Nexenta 购买了一些 SATA SSD，并将它们直接连接到主板的板载 SATA 控制器。

我可以通过将“物理磁盘”添加到 vSphere 中的 VM 配置文件来将这些新 SSD 添加到 Nexenta VM。或者，我可以连接到其中一个 HBA，但我必须断开/移动现有磁盘，这会带来相当大的麻烦。

题：

我的问题是：假设我的 HBA 不做任何花哨的缓存等，并且具有与板载控制器（连接到新 SSD 的控制器）相同的可用总线带宽和 SATA 规格，连接通过 vSphere 磁盘将物理磁盘添加到 VM 添加功能，并将它们附加到通过 VT-d 传递到 VM 的 HBA？与本机速度相比，vSphere 磁盘添加方法是否强加了一些可能对磁盘性能产生负面影响的中继/请求转发行为？

答案的轶事很好，但统计数据更好：我知道我一开始可能不会注意到性能差异，因为 SSD 速度很快。但我已经在该领域工作了足够长的时间，我知道如果存在有问题的性能差异，它会在生产关键活动中表现出来，在最糟糕的时间:)

情况：

在集成的一体化 ESXi/ZFS 存储服务器上，其中存储 VM 使用裸机磁盘并通过 NFS（或 iSCSI）将文件系统导出回 ESXi，后者将其用作其他 VM 的池存储，存在更新存储虚拟机时会出现问题，因为许多正在运行的虚拟机依赖于它，并且会因NFS.AllPathsDown或类似原因而超时，这等于从普通服务器中拉出驱动器而不将其关闭。

当然，可以关闭所有 VM，但这会变得非常耗时且乏味（或必须编写脚本）。将 VM 移动到另一台主机可能是可能的，但需要更长的时间，并且在较小的设置中可能无法实现，其中一台机器就足够了。暂停虚拟机可以工作，但也很慢（有时比关闭慢）。

可能的解决方案...

1. 一个简单而有效的解决方案似乎是通过 CLI 停止 VM 进程，在使用kill -STOP [pid]找到它后ps -c | grep -v grep | grep [vmname]，执行存储 VM 的升级/重新启动，然后使用 继续执行 VM 进程kill -CONT [pid]。
2. 一个类似的解决方案可能是快速重启（在 Solaris/illumos 上可用reboot -f或在 Linux 上可用）的组合，kexec-reboot这需要几秒钟而不是几分钟，以及 ESXi 中的 NFS 超时（在 NFS 连接丢失时，所有 I/O 都被暂停，我认为120 秒，直到假定存储永久关闭）。如果重新引导时间在 ESXi NFS 窗口内，理论上它应该类似于磁盘由于纠错而在一分钟内没有响应，然后恢复正常操作。

……还有问题？

现在，我的问题是：

1. 哪种方法更可取，或者它们同样好/坏？
2. 在数据库、Active Directory 控制器、用户运行作业的机器等特殊情况下，有哪些意想不到的副作用？
3. 应该注意哪里？链接博客上的评论提到，例如，当 CPU …

我正在用一台新的服务器替换两台旧的机架式服务器，它有足够的能力来接管当前服务器的功能。该服务器为 4U 机架安装，带有 16 个 3.5" SAS 驱动器托架、两个 2.5" 托架、一个至强 E3-1230v2 CPU 和 32GB ECC RAM。

我的问题如下。我想要一个带有 ZFS 管理磁盘的 FreeBSD 文件服务器。但是，我需要其他 VM，例如 shell/git 服务器、邮件服务器等。我想知道如何处理以下问题：

1. 我希望 ZFS 完全管理磁盘，所以我没有使用任何硬件 RAID。我应该将 SAS 控制器作为直通 PCI 直接传递给 FreeBSD 系统吗？也许只是一张一张的磁盘？

2. 我想最大限度地提高设置的可靠性。我应该在哪些磁盘上安装虚拟机管理程序以及将 VM 系统映像放在哪里？

对于 (2) 我可以选择在 SAS 控制器上设置 RAID，并将其用作系统磁盘来存储管理程序和 VM 映像。但是，这使得 PCI 无法直通到文件服务器。另一种选择是使用两个 2.5" 托架。

推荐？我还没有选择使用哪个虚拟化平台，但这应该不会产生太大影响。