如何防止子树删除（`rm -rf`）使其他进程无法进行磁盘 I/O？

Question

我们有一个非常大（多 GB）的 Nginx 缓存目录用于繁忙的站点，我们偶尔需要一次清除所有目录。我过去解决了这个问题，方法是将缓存文件夹移动到新路径，在旧路径上创建一个新的缓存文件夹，然后rm -rfing 旧的缓存文件夹。

然而，最近，当我在忙碌的早晨需要清除缓存时，来自的 I/Orm -rf使我的服务器进程无法访问磁盘，因为 Nginx 及其面向的服务器都是读取密集型的。当 CPU 处于空闲状态并rm -rf占用iotop.

我ionice -c 3在调用 时尝试过rm，但它似乎对观察到的行为没有明显影响。

有没有办法驯服rm -rf更多地共享磁盘？我是否需要使用不同的技术来获取线索ionice？

更新：

有问题的文件系统是 AWS EC2 实例存储（主磁盘是 EBS）。该/etc/fstab条目如下所示：

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

Answer 1

删除文件只对文件系统执行元数据操作，不受 ionice 的影响。

最简单的方法是，如果您现在不需要磁盘空间，请rm在非高峰时间执行。

MIGHT 更复杂的工作方式是随着时间的推移分散删除。您可以尝试以下操作（请注意，它假定您的路径和文件名不包含任何空格！）：

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

另请注意，您不能rm -f在第一个命令中使用，因为循环不会停止（这取决于rm没有参数时的错误退出代码）。

您可以通过修改每个周期的删除次数（示例中为 100）和睡眠持续时间来调整它。然而，它可能不会真正起作用，因为文件系统可能仍然以一种您在 IO 负载上遇到麻烦的方式聚集元数据更新。你只需要尝试。

Answer 2

从该页面收集的所有数据。 以下是删除大目录文件的一些选项。查看文章以了解其生成方式的详细信息。

\n\n

\n命令已用系统时间 %CPU cs1* (Vol/Invol)\nrsync -a \xe2\x80\x93delete empty/ a 10.60 1.31 95% 106/22\nfind b/ -type f -delete 28.51 14.46 52% 14849/11 \n查找 c/ -输入 f | xargs -L 100 rm 41.69 20.60 54% 37048/15074\n查找 d/ -type f | xargs -L 100 -P 100 rm 34.32 27.82 89% 929897/21720\nrm -rf f 31.29 14.80 47% 15134/11\n

\n\n

*cs1 是自愿和非自愿的上下文切换

\n