在运行 NFS 的 Debian 服务器上写入性能不佳，导出的 JFS 文件系统为 22TB

Question

我目前正在运行一个通过 NFS (nfs-kernel-server) 导出大型 JFS 文件系统 (22TB) 的 debian 服务器。尝试写入 NFS 共享时，性能非常差。22TB 磁盘位于使用 iSCSI 安装的 NAS 上。

• 它将在接近预期的线速度时中断片刻，然后闲置几秒钟。以低 kb/sec 测量的流量非常小。
• 等待偷看写入。
• 从 NFS 装载读取时，系统以预期速度（11MB/秒）运行。
• 使用 SFTP、rsync 或本地处理（非 nfs）时不会出现此问题。
• 该问题在稳定版本和测试版本之间仍然存在。
• 在同一台机器上，我有一个 14TB ext4 文件系统，使用完全相同的导出配置，但不存在此问题。此共享不经常使用，因此不消耗资源。

NFS 服务器：

cat /etc/exports
/data2      10.1.20.86(rw,no_subtree_check,async,all_squash)

cat /sys/block/sdb/queue/scheduler
noop [deadline] cfq

cat /etc/default/nfs-kernel-server 
RPCNFSDCOUNT=8
RPCNFSDPRIORITY=0
RPCMOUNTDOPTS=--manage-gids
NEED_SVCGSSD=
RPCSVCGSSDOPTS=

NFS客户端：

cat /etc/fstab
10.1.20.100:/data2  /root/incoming  nfs     rw,noatime,soft,intr,noacl 0 2

cat /sys/block/sdb/queue/scheduler
noop [deadline] cfq

cat /proc/mounts
10.1.20.100:/data2/ /root/incoming nfs4 rw,noatime,vers=4,rsize=262144,wsize=262144,namlen=255,soft,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=10.1.20.86,minorversion=0,addr=10.1.20.100 0 0

这个问题把我难住了。任何帮助将受到极大欢迎。谢谢。

Answer 1

我怀疑 JumboFrames 有问题。使用以下命令检查两个接口上的卸载配置

sudo ethtool -k your_nic

并尝试使用wireshark监听线路。您可能会发现一些乱序数据包、重复数据包……