我正在运行一个大型 ZFS 池，该池为 256K+ 请求大小的顺序读写通过 iSCSI（用于备份）在 Ubuntu 18.04 上运行。考虑到对高吞吐量和空间效率的需求，以及对随机小块性能的较少需求，我使用了条带化raidz2而不是条带化镜像。
然而，256K 的顺序读取性能远低于我的预期（100 - 200MBps，峰值高达 600MBps）。当 zvols 在 iostat 中达到 ~99% iowait 时，后备设备通常在 10% 到 40% iowait 之间运行，这向我表明瓶颈是我在配置中缺少的东西，因为它不应该是背板或 CPU这个系统和顺序工作负载不应该让 ARC 工作得太辛苦。
我已经玩了很多模块参数（下面的当前配置），阅读了数百篇文章，OpenZFS github 上的问题等。调整预取和聚合使我达到了这个性能水平 - 默认情况下，我在大约 50MBps 上运行ZFS 向磁盘发送 TINY 请求时的顺序读取 (~16K)。随着聚合和预取工作正常（我认为），磁盘读取要高得多，在 iostat 中平均约为 64K。
NIC 是 LIO iscsi 目标，具有 cxgbit 卸载 + Windows Chelsio iscsi 启动器在 ZFS zvol 之外运行良好，直接映射的 optane 在 NIC 上返回几乎全线速（~3.5GBps 读写）。
是我期待太多了吗？我知道 ZFS 将安全性置于性能之上，但我希望 7x9 raidz2 提供比单个 9 驱动器 mdadm raid6 更好的顺序读取。
系统规格和日志/配置文件：
Chassis: Supermicro 6047R-E1R72L
HBAs: 3x …我们刚刚在两台 Windows 2012 R2 服务器之间部署了一个新的 DFS 复制系统。我们使用 MS 的建议克隆了 DFSr 数据库（http://blogs.technet.com/b/filecab/archive/2013/08/21/dfs-replication-initial-sync-in-windows-server-2012-r2-attack -of-the-clones.aspx）和复制/同步完美地工作了 99%（一些文件卡在积压中，但其他方面都很好）。
重新启动非主要成员服务器后，它在事件日志中抱怨不干净的关闭/日志包装（关闭是由书决定的），并表示如果无法可靠地恢复，则必须重建数据库（事件 2212） . 然后它抛出日志 2218，说明它处于复制数据库一致性检查的第二步。
此后几乎立即，两台服务器开始在主服务器和辅助服务器上抛出大量 4412（在多个服务器上更改文件，将“丢失”文件移动到 DFSrPrivate\ConflictsandDeleted）日志。但是，当我针对“获胜”文件和移入 ConflictsandDeleted 的文件运行 PS Get-DFSrFileHash 时，它们完美匹配。
DFSr 设置有 1900 万个文件，替换每个文件即使它们相等也需要数周时间；鉴于在此过程完成之前复制似乎已停止，我想让 DFS“意识到”文件实际上是相同的。有没有人见过这样的东西？