那些遇到过的问题

异常高的 dentry 缓存使用率

Wol*_*gel 34 linux memory centos

问题

几天前，一台内核为 2.6.32 和 128 GB 物理 RAM 的 CentOS 机器遇到了麻烦。负责的系统管理员告诉我，PHP-FPM 应用程序由于交换而不再及时响应请求，并且看到free几乎没有剩余内存，他选择重新启动机器。

我知道空闲内存在 Linux 上可能是一个令人困惑的概念，重启可能是错误的做法。但是，上述管理员指责 PHP 应用程序（我负责）并拒绝进一步调查。

我自己可以发现的是：

  • 在重新启动之前，可用内存（包括缓冲区和缓存）只有几百 MB。
  • 在重启之前，/proc/meminfo报告了大约 90 GB 的 Slab 内存使用量（是的，GB）。
  • 重新启动后，可用内存为 119 GB，在一个小时内下降到 100 GB 左右，因为 PHP-FPM 工作人员（其中约 600 个）恢复生机，每个人在顶部的 RES 列（几个月来一直这样，考虑到 PHP 应用程序的性质，这是完全合理的）。进程列表中没有其他东西消耗了异常或值得注意的 RAM 量。
  • 重启后，Slab内存在300MB左右

如果从那时起一直在监视系统，最值得注意的是 Slab 内存以每天约 5 GB 的速度直线增加。报告的可用内存free和/proc/meminfo以相同的速度减少。Slab 目前为 46 GB。根据slabtop大部分用于dentry条目：

空闲内存：

free -m
             total       used       free     shared    buffers     cached
Mem:        129048      76435      52612          0        144       7675
-/+ buffers/cache:      68615      60432
Swap:         8191          0       8191
Run Code Online (Sandbox Code Playgroud)

记忆信息：

cat /proc/meminfo
MemTotal:       132145324 kB
MemFree:        53620068 kB
Buffers:          147760 kB
Cached:          8239072 kB
SwapCached:            0 kB
Active:         20300940 kB
Inactive:        6512716 kB
Active(anon):   18408460 kB
Inactive(anon):    24736 kB
Active(file):    1892480 kB
Inactive(file):  6487980 kB
Unevictable:        8608 kB
Mlocked:            8608 kB
SwapTotal:       8388600 kB
SwapFree:        8388600 kB
Dirty:             11416 kB
Writeback:             0 kB
AnonPages:      18436224 kB
Mapped:            94536 kB
Shmem:              6364 kB
Slab:           46240380 kB
SReclaimable:   44561644 kB
SUnreclaim:      1678736 kB
KernelStack:        9336 kB
PageTables:       457516 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    72364108 kB
Committed_AS:   22305444 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      480164 kB
VmallocChunk:   34290830848 kB
HardwareCorrupted:     0 kB
AnonHugePages:  12216320 kB
HugePages_Total:    2048
HugePages_Free:     2048
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        5604 kB
DirectMap2M:     2078720 kB
DirectMap1G:    132120576 kB
Run Code Online (Sandbox Code Playgroud)

平板：

slabtop --once
Active / Total Objects (% used)    : 225920064 / 226193412 (99.9%)
 Active / Total Slabs (% used)      : 11556364 / 11556415 (100.0%)
 Active / Total Caches (% used)     : 110 / 194 (56.7%)
 Active / Total Size (% used)       : 43278793.73K / 43315465.42K (99.9%)
 Minimum / Average / Maximum Object : 0.02K / 0.19K / 4096.00K

  OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME                   
221416340 221416039   3%    0.19K 11070817       20  44283268K dentry                 
1123443 1122739  99%    0.41K 124827        9    499308K fuse_request           
1122320 1122180  99%    0.75K 224464        5    897856K fuse_inode             
761539 754272  99%    0.20K  40081       19    160324K vm_area_struct         
437858 223259  50%    0.10K  11834       37     47336K buffer_head            
353353 347519  98%    0.05K   4589       77     18356K anon_vma_chain         
325090 324190  99%    0.06K   5510       59     22040K size-64                
146272 145422  99%    0.03K   1306      112      5224K size-32                
137625 137614  99%    1.02K  45875        3    183500K nfs_inode_cache        
128800 118407  91%    0.04K   1400       92      5600K anon_vma               
 59101  46853  79%    0.55K   8443        7     33772K radix_tree_node        
 52620  52009  98%    0.12K   1754       30      7016K size-128               
 19359  19253  99%    0.14K    717       27      2868K sysfs_dir_cache        
 10240   7746  75%    0.19K    512       20      2048K filp
Run Code Online (Sandbox Code Playgroud)

VFS缓存压力：

cat /proc/sys/vm/vfs_cache_pressure
125
Run Code Online (Sandbox Code Playgroud)

互换性：

cat /proc/sys/vm/swappiness
0
Run Code Online (Sandbox Code Playgroud)

我知道未使用的内存是浪费的内存，所以这不一定是一件坏事（特别是考虑到 44 GB 显示为 SReclaimable）。然而，显然机器还是遇到了问题，恐怕几天后Slab超过90 GB时同样会发生同样的情况。

问题

我有这些问题：

  • 我认为 Slab 内存始终是物理 RAM 并且该数字已经从 MemFree 值中减去是否正确？
  • 如此多的 dentry 条目正常吗？PHP 应用程序可以访问大约 150 万个文件，但其中大部分是档案，根本无法访问常规网络流量。
  • 对于缓存的 inode 的数量远低于缓存的 dentries 的数量这一事实的解释是什么，它们是否应该以某种方式相关？
  • 如果系统遇到内存问题，内核不应该自动释放一些 dentries 吗？这不会发生的原因是什么？
  • 有什么方法可以“查看”dentry 缓存以查看所有这些内存是什么（即正在缓存的路径是什么）？也许这表明某种内存泄漏、符号链接循环，或者确实表明 PHP 应用程序做错了什么。
  • PHP 应用程序代码以及所有资产文件都是通过 GlusterFS 网络文件系统挂载的，这与它有关吗？

请记住，我无法以 root 身份进行调查，只能以普通用户身份进行调查，并且管理员拒绝提供帮助。他甚至不会运行典型的echo 2 > /proc/sys/vm/drop_caches测试来查看 Slab 内存是否确实可回收。

对可能发生的事情以及我如何进一步调查的任何见解将不胜感激。

更新

一些进一步的诊断信息：

坐骑：

cat /proc/self/mounts
rootfs / rootfs rw 0 0
proc /proc proc rw,relatime 0 0
sysfs /sys sysfs rw,relatime 0 0
devtmpfs /dev devtmpfs rw,relatime,size=66063000k,nr_inodes=16515750,mode=755 0 0
devpts /dev/pts devpts rw,relatime,gid=5,mode=620,ptmxmode=000 0 0
tmpfs /dev/shm tmpfs rw,relatime 0 0
/dev/mapper/sysvg-lv_root / ext4 rw,relatime,barrier=1,data=ordered 0 0
/proc/bus/usb /proc/bus/usb usbfs rw,relatime 0 0
/dev/sda1 /boot ext4 rw,relatime,barrier=1,data=ordered 0 0
tmpfs /phptmp tmpfs rw,noatime,size=1048576k,nr_inodes=15728640,mode=777 0 0
tmpfs /wsdltmp tmpfs rw,noatime,size=1048576k,nr_inodes=15728640,mode=777 0 0
none /proc/sys/fs/binfmt_misc binfmt_misc rw,relatime 0 0
cgroup /cgroup/cpuset cgroup rw,relatime,cpuset 0 0
cgroup /cgroup/cpu cgroup rw,relatime,cpu 0 0
cgroup /cgroup/cpuacct cgroup rw,relatime,cpuacct 0 0
cgroup /cgroup/memory cgroup rw,relatime,memory 0 0
cgroup /cgroup/devices cgroup rw,relatime,devices 0 0
cgroup /cgroup/freezer cgroup rw,relatime,freezer 0 0
cgroup /cgroup/net_cls cgroup rw,relatime,net_cls 0 0
cgroup /cgroup/blkio cgroup rw,relatime,blkio 0 0
/etc/glusterfs/glusterfs-www.vol /var/www fuse.glusterfs rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072 0 0
/etc/glusterfs/glusterfs-upload.vol /var/upload fuse.glusterfs rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072 0 0
sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0
172.17.39.78:/www /data/www nfs rw,relatime,vers=3,rsize=65536,wsize=65536,namlen=255,hard,proto=tcp,port=38467,timeo=600,retrans=2,sec=sys,mountaddr=172.17.39.78,mountvers=3,mountport=38465,mountproto=tcp,local_lock=none,addr=172.17.39.78 0 0
Run Code Online (Sandbox Code Playgroud)

挂载信息：

cat /proc/self/mountinfo
16 21 0:3 / /proc rw,relatime - proc proc rw
17 21 0:0 / /sys rw,relatime - sysfs sysfs rw
18 21 0:5 / /dev rw,relatime - devtmpfs devtmpfs rw,size=66063000k,nr_inodes=16515750,mode=755
19 18 0:11 / /dev/pts rw,relatime - devpts devpts rw,gid=5,mode=620,ptmxmode=000
20 18 0:16 / /dev/shm rw,relatime - tmpfs tmpfs rw
21 1 253:1 / / rw,relatime - ext4 /dev/mapper/sysvg-lv_root rw,barrier=1,data=ordered
22 16 0:15 / /proc/bus/usb rw,relatime - usbfs /proc/bus/usb rw
23 21 8:1 / /boot rw,relatime - ext4 /dev/sda1 rw,barrier=1,data=ordered
24 21 0:17 / /phptmp rw,noatime - tmpfs tmpfs rw,size=1048576k,nr_inodes=15728640,mode=777
25 21 0:18 / /wsdltmp rw,noatime - tmpfs tmpfs rw,size=1048576k,nr_inodes=15728640,mode=777
26 16 0:19 / /proc/sys/fs/binfmt_misc rw,relatime - binfmt_misc none rw
27 21 0:20 / /cgroup/cpuset rw,relatime - cgroup cgroup rw,cpuset
28 21 0:21 / /cgroup/cpu rw,relatime - cgroup cgroup rw,cpu
29 21 0:22 / /cgroup/cpuacct rw,relatime - cgroup cgroup rw,cpuacct
30 21 0:23 / /cgroup/memory rw,relatime - cgroup cgroup rw,memory
31 21 0:24 / /cgroup/devices rw,relatime - cgroup cgroup rw,devices
32 21 0:25 / /cgroup/freezer rw,relatime - cgroup cgroup rw,freezer
33 21 0:26 / /cgroup/net_cls rw,relatime - cgroup cgroup rw,net_cls
34 21 0:27 / /cgroup/blkio rw,relatime - cgroup cgroup rw,blkio
35 21 0:28 / /var/www rw,relatime - fuse.glusterfs /etc/glusterfs/glusterfs-www.vol rw,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072
36 21 0:29 / /var/upload rw,relatime - fuse.glusterfs /etc/glusterfs/glusterfs-upload.vol rw,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072
37 21 0:30 / /var/lib/nfs/rpc_pipefs rw,relatime - rpc_pipefs sunrpc rw
39 21 0:31 / /data/www rw,relatime - nfs 172.17.39.78:/www rw,vers=3,rsize=65536,wsize=65536,namlen=255,hard,proto=tcp,port=38467,timeo=600,retrans=2,sec=sys,mountaddr=172.17.39.78,mountvers=3,mountport=38465,mountproto=tcp,local_lock=none,addr=172.17.39.78
Run Code Online (Sandbox Code Playgroud)

GlusterFS 配置：

cat /etc/glusterfs/glusterfs-www.vol
volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host 172.17.39.71
   option ping-timeout 10
   option transport.socket.nodelay on # undocumented option for speed
    # http://gluster.org/pipermail/gluster-users/2009-September/003158.html
  option remote-subvolume /data/www
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host 172.17.39.72
   option ping-timeout 10
   option transport.socket.nodelay on # undocumented option for speed
        # http://gluster.org/pipermail/gluster-users/2009-September/003158.html
  option remote-subvolume /data/www
end-volume

volume remote3
  type protocol/client
  option transport-type tcp
  option remote-host 172.17.39.73
   option ping-timeout 10
   option transport.socket.nodelay on # undocumented option for speed
        # http://gluster.org/pipermail/gluster-users/2009-September/003158.html
  option remote-subvolume /data/www
end-volume

volume remote4
  type protocol/client
  option transport-type tcp
  option remote-host 172.17.39.74
   option ping-timeout 10
   option transport.socket.nodelay on # undocumented option for speed
        # http://gluster.org/pipermail/gluster-users/2009-September/003158.html
  option remote-subvolume /data/www
end-volume

volume replicate1
  type cluster/replicate
   option lookup-unhashed off    # off will reduce cpu usage, and network
   option local-volume-name 'hostname'
  subvolumes remote1 remote2
end-volume

volume replicate2
  type cluster/replicate
   option lookup-unhashed off    # off will reduce cpu usage, and network
   option local-volume-name 'hostname'
  subvolumes remote3 remote4
end-volume

volume distribute
  type cluster/distribute
  subvolumes replicate1 replicate2
end-volume

volume iocache
  type performance/io-cache
   option cache-size 8192MB        # default is 32MB
   subvolumes distribute
end-volume

volume writeback
  type performance/write-behind
  option cache-size 1024MB
  option window-size 1MB
  subvolumes iocache
end-volume

### Add io-threads for parallel requisitions
volume iothreads
  type performance/io-threads
  option thread-count 64 # default is 16
  subvolumes writeback
end-volume

volume ra
  type performance/read-ahead
  option page-size 2MB
  option page-count 16
  option force-atime-update no
  subvolumes iothreads
end-volume
Run Code Online (Sandbox Code Playgroud)

Wol*_*gel 23

确认的解决方案

对于可能遇到同样问题的任何人。数据中心的人今天终于弄明白了。罪魁祸首是与 Libcurl 捆绑在一起的 NSS（网络安全服务）库。升级到最新版本解决了这个问题。

描述详细信息的错误报告在这里：

https://bugzilla.redhat.com/show_bug.cgi?format=multiple&id=1044666

显然，为了确定某个路径是本地路径还是网络驱动器上的路径，NSS 正在查找一个不存在的文件并测量文件系统返回报告所需的时间！如果你有足够多的 Curl 请求和足够的内存，这些请求都会被缓存起来并堆叠起来。

小智 15

我遇到了这个确切的问题，虽然 Wolfgang 关于原因是正确的，但缺少一些重要的细节。

  • 此问题会影响使用 curl 或 libcurl 或任何其他碰巧使用 mozilla NSS 进行安全连接的软件完成的 SSL 请求。非安全请求不会触发该问题。

  • 该问题不需要并发 curl 请求。只要 curl 调用的频率足以超过操作系统回收 RAM 的努力，就会发生 dentry 的积累。

  • 较新版本的 NSS 3.16.0 确实包含对此的修复。但是，升级 NSS 并不能免费获得修复程序，也不必升级所有 NSS。您至少只需要升级 nss-softokn（它必须依赖于 nss-utils）。为了获得好处，您需要为使用 libcurl 的进程设置环境变量 NSS_SDB_USE_CACHE。该环境变量的存在允许跳过昂贵的不存在文件检查。

FWIW，我写了一篇博客文章，其中包含更多背景/详细信息，以防有人需要。

  • 这已在 Centos 6.6 中通过 nss-softokn-3.14.3-17 修复 (3认同)

Dav*_*rtz 14

我认为 Slab 内存始终是物理 RAM 并且该数字已经从 MemFree 值中减去是否正确？

是的。

如此多的 dentry 条目正常吗？PHP 应用程序可以访问大约 150 万个文件，但其中大部分是档案，根本无法访问常规网络流量。

是的，如果系统没有内存压力。它必须将内存用于某些事情，并且在您的特定使用模式中，这可能是使用该内存的最佳方式。

对于缓存的 inode 的数量远低于缓存的 dentries 的数量这一事实的解释是什么，它们是否应该以某种方式相关？

许多目录操作将是最可能的解释。

如果系统遇到内存问题，内核不应该自动释放一些 dentries 吗？这不会发生的原因是什么？

它应该，我想不出任何理由它不会。我不相信这是真正出错的地方。我强烈建议升级您的内核或进一步增加 vfs_cache_pressure。

有什么方法可以“查看”dentry 缓存以查看所有这些内存是什么（即正在缓存的路径是什么）？也许这表明某种内存泄漏、符号链接循环，或者确实表明 PHP 应用程序做错了什么。

我不相信有。我会寻找任何包含大量条目或搜索或遍历的非常深的目录结构的目录。

PHP 应用程序代码以及所有资产文件都是通过 GlusterFS 网络文件系统挂载的，这与它有关吗？

肯定是文件系统问题。例如，导致 dentries 不被释放的文件系统错误是可能的。

  • 谢谢！在我的情况下，大目录（0.25 百万个文件）完全是问题的原因，任何时候与它交互的东西 2GB 的 ram 都会消失在缓存中。 (2认同)

归档时间：

查看次数：

29408 次

最近记录：

10 年，1 月 前
相关归档
每次执行proxy_pass时如何强制nginx解析DNS（动态主机名）？ 81
使用 tc 将数据包延迟到单个 IP 地址 22
如何在命令行（公共 dns、AMI 等）上登录时获取 ec2 Linux 实例信息 9
GLIBC 升级会出现什么问题？ 9
克隆 Linux 服务器后要更改什么？ 8
iptables：将端口 80 转发到端口 8080 7
NFS：什么是远程锁定，我需要它吗？ 6
如何检查网络上的 IP 地址是否可用 5
PHP fastCGI 不会停止，尝试启动 PHP fpm 5
在 qemu-system 中组合 -snapshot 和 -loadvm snap_id 5
难疑归档
您如何找到在 Windows 中打开文件的进程？ 588
IPv4 子网划分是如何工作的？ 461
为什么我的主机名在 /etc/hosts 中显示地址为 127.0.1.1 而不是 127.0.0.1？ 241
如何在 spf TXT 记录中包含多个域 208
你可以有多个 ~/.ssh/config 文件吗？ 98
Linux 中是否有等效于 /dev/null 的目录？ 93
当没有找到匹配的文件时，我可以让 `find` 返回非 0 吗？ 85
在文件系统中存储一百万张图像 80
如何为 WWW 文件夹设置 linux 权限？ 72
从正在运行的进程中转储 nginx 配置？ 59