iSCSI 和 NFS 超过 1GB 以太网的“良好”速度是多少？

Question

我有一个共享两个 ZFS 文件系统的 OpenSolaris 机器。一种是与运行 VMware 服务器的 CentOS 机器的 NFS 连接（磁盘映像存储在 ZFS 中）。另一个是与 Windows 2008 服务器的 iSCSI 连接，在 ZFS 之上采用 NTFS 格式。两个连接都直接通过 gig-E（无交换机）。

我正在运行 munin 来监控这些盒子，但我不确定我应该期待什么样的数字。任何人都可以给我一些基线数字来比较或就从哪里开始调整提出任何建议吗？

这是我看到的 NFS 统计信息，一旦我在 solaris 机器上修复了 munin，我就会发布 iSCSI :P

Answer 1

我们已将 Sun X4100 通过绑定 GigE 和 iSCSI 写入到 Sun X4500 的速度达到 280MB/s。

可以做很多事情来调整 Solaris 上的 TCP 堆栈来帮助解决问题，这是我的常用调整配置。（摘自 Sun 的一些白皮书集）：

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

此外，值得在您的 OpenSolaris 机器上查看更改 fsflush 间隔、中断调整“魔术”和禁用软环。将以下内容附加到 /etc/system（需要重新启动）：

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

值得一提的是，我在 Solaris 10 上这样做——而不是 OpenSolaris——但我认为可调参数应该同样适用于你。

我是 Filebench 的忠实粉丝，因为它可以尝试调整选项并进行吞吐量测试。

• SolarisInternals Wiki 上的 FileBench
• SourceForge 上的 FileBench

（最近重命名的）OpenSolaris 2009.06 发行版在 iSCSI 和 ZFS 的世界中看起来非常令人兴奋。

希望这对一些人有所帮助！