Linux 中不可预测的大量 I/O 性能下降

Question

我使用 Debian 测试没有任何问题大约 6 年（我只是定期更新它），但最近它开始显示随机行为，可以概括为“低 I/O 性能持续到重新启动”。

问题是，突然所有磁盘读取和写入速度减慢到约 5MB/秒，从而导致连续读取和写入。由于速率如此之低，磁盘不会受到机械挑战或压力，但一切都会变慢，直到我重新启动。

计算机的 I/O 子系统由一个 OCZ Vertex 3 SSD 和两个 WD Caviar Black HDD 组成。SSD 保存着操作系统的大量读取部分，而 HDD 上的一个分区保存着其余部分。

为了诊断问题，我尝试了以下方法但没有成功：

• top 无论是 CPU 还是 I/O 使用，都没有显示任何失控的活动。
• hdparm返回磁盘的正常性能等级（-t虽然我只检查过）。
• smartctl没有显示磁盘中的任何性能问题。长时间的测试表明磁盘和新的一样好。

系统具有 Z77 芯片组、16GB 内存和 Intel i7 3770K CPU，统计数据显示 RAM、I/O 或 CPU 没有饱和的迹象，但我没有调试此类问题的经验（尤其是在内核空间中）。任何帮助将不胜感激。

更新 1：

• 作为预防措施，我在每个分区上运行（强制）fsck。所有FS都是干净的。
• 顺便说一句，我发现了一个月前推出的 BIOS 升级并应用了它。
• 没有分区填充超过 50%。

更新 2：

问题不是出现两天。或者fsckBIOS 更新清除了系统中的一些堵塞物。我仍在监视这个问题，并将用事后的答案结束这个问题。

更新 3：

问题刚刚重新浮出水面，我做了更多的挖掘。请看答案。

Answer 1

我设法再次重现该问题，这是大磁盘缓存的结果。我的磁盘缓存可以增长超过 8GB，而且似乎有些应用程序不喜欢它并且 I/O 受到影响。

echo 3 > /proc/sys/vm/drop_caches以 root 身份删除磁盘缓存可以解决问题。我目前不知道为什么大磁盘缓存会导致这种 I/O 降级。

最后更新：经过更多调查，我发现缓存中的文件数量引发了问题。它在尝试将许多小文件提交回磁盘时正在破坏磁盘。自从我使用该系统十年以来，我已经冒险尝试并重新安装了 64 位 Debian。现在它工作顺利。这可能是十年升级的副作用，发现 32 位操作系统的限制。