某些活动后 NFS 性能低下

Question

我有一个 Linux 集群，其中的节点具有来自中央服务器的 NFS 挂载点（实际上这些节点是无盘的，并且通过 PXE 启动）。在节点上的 NFS 安装点上进行一些活动后，NFS 似乎会急剧减慢，例如 ssh 登录需要几分钟，依赖于 nfs 共享上某些文件的程序需要几分钟才能启动，等等。

重新启动服务器上的 nfs 服务和/或重新启动有问题的节点可以在短时间内解决问题，但它总是很快就会再次出现。（两者都做似乎会有帮助更长一些）

服务器和节点运行在 CentOS 7.4 上，Linux 内核为 3.10.0-693.el7.x86_64 x86_64，并使用 NFSv4。存储由 4 个 HDD 组成，捆绑为 RAID10 (/dev/sda)。服务器和节点之间的网络连接均为 1GBit/s，到目前为止没有证据表明存在丢包情况。

NFS 反应非常慢（取决于之前的活动）的原因可能是什么？

当文件系统反应缓慢时，节点上 nfsstat 的缩短输出给出：

客户端 rpc 统计：

来电 | 重传| authrefrsh
44154157 | 0 | 44154258

客户端 nfs v4：

空 | 阅读 | 写| 提交 | 打开| 开放会议
0 0% | 58125 0% | 422038 1% | 6846 0% | 139899 0% | 0 0%

打开_noat | 开放_dgrd | 关闭 | 设置属性 | 金融信息 | 续订
30775986 95% | 144 0% | 70464 0% | 2639 0% | 9 0% | 0

nfsiostat 的输出如下所示（对于快速 nfs）：

操作/秒 rpc bklog
3596.86 0.00

阅读：ops/s | 千字节/秒 | 千字节/操作 | 重传平均 RTT（毫秒）| 平均可执行文件（毫秒）
0.224 | 0.289 | 0.289 1.292 | 1.292 0 (0.0%) 0.441 | 0 (0.0%) 0.441 1.151

写：ops/s | 千字节/秒 | 千字节/操作 | 重传 | 平均 RTT（毫秒）| 平均可执行文件（毫秒）
33.837 | 47.329 | 47.329 1.399 | 1.399 0 (0.0%) | 0.452 | 0.452 1.406

nfsiostat 的输出如下所示（对于慢速 nfs）：

操作 | rpc bklog 183.75 | 0.00

阅读：ops/s | 千字节/秒 | 千字节/操作 | 重传 | 平均 RTT（毫秒）| 平均执行时间（毫秒）
0.012 | 1.158 | 1.158 99.426 | 99.426 0 (0.0%) | 2.708 | 2.708 16.656

写：ops/s | 千字节/秒 | 千字节/操作 | 重传平均 RTT（毫秒）| 平均可执行文件（毫秒）
0.295 | 1.882 | 1.882 6.387 | 6.387 2 (0.0%) | 0.448 | 0.448 0.560

在这里，我们看到更低的 ops/s 以及更高的 kB/op 和平均执行持续时间。

中央服务器上的 iostat（当一切正常时）：

Linux 3.10.0-693.el7.x86_64 09/27/2019 _x86_64_ (4 CPU)

平均 CPU：％用户％好％系统％iowait％窃取％空闲
0.48 0.00 0.37 0.02 0.00 99.12

设备： tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sdb 10.83 40.61 67.55 9423785 15673740
sda 0.71 5.67 2.54 1315496 590208
sdc 10.47 18.96 67.55 43 98709 15673740
md127 0.00 0.12 0.00 27241 80 md126 10.83 59.42
66.92 13787337 15526832 md125
0.00 0.01 0.00 2228 0

当一切都很慢时也是如此（但没有太大差异）：

Linux 3.10.0-693.el7.x86_64 10/14/2019 _x86_64_ (4 CPU)

平均 CPU：％用户％好％系统％iowait％窃取％空闲
2.94 0.00 1.03 0.01 0.00 96.02

设备：tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sdb 15.05 261.13 52.53 449712785 90460908
sda 0.54 7.23 35.45 12443668 61054912
sdc 14.97 257.76 52.53 443917089 90460908 md127
0.00 0.02 0.00 27241 112 md126 11.57 8.68
51.72 14953949 89075284 md125
0.00 0.00 0.00 2228 8

如果您需要任何进一步的信息，请告诉我。

Answer 1

我的第一个想法是，您可能想检查一下您的 iostats，这听起来像是一个缓存问题。