如何限制 mongodump 的 CPU 和 RAM 资源？

Question

我有一个 mongod 服务器正在运行。每天，我都在执行 mongodump 以进行备份。问题是 mongodump 会占用大量资源，并且会减慢服务器的速度（顺便说一下，它已经运行了一些其他繁重的任务）。

我的目标是以某种方式限制在 shell 脚本中调用的 mongodump。

谢谢。

Answer 1

您应该使用 cgroup。发行版和内核上的挂载点和详细信息是不同的。即带有库存内核的 D​​ebian 7.0 默认不挂载 cgroupfs 并且禁用内存子系统（人们建议使用 cgroup_enabled=memory 重新启动），而 openSUSE 13.1 随附所有这些（主要是由于 systemd）。

因此，首先，如果您的发行版尚未完成，请创建挂载点并挂载 cgroupfs：

mkdir /sys/fs/cgroup/cpu
mount -t cgroup -o cpuacct,cpu cgroup /sys/fs/cgroup/cpu

mkdir /sys/fs/cgroup/memory
mount -t cgroup -o memory cgroup /sys/fs/cgroup/memory

创建一个 cgroup：

mkdir /sys/fs/cgroup/cpu/shell
mkdir /sys/fs/cgroup/memory/shell

设置一个 cgroup。我决定改变cpu 份额。它的默认值为 1024，因此将其设置为 128 会将 cgroup 限制为所有 CPU 资源的 11%，如果有竞争者。如果还有空闲的 cpu 资源，它们将被提供给 mongodump。您还可以使用cpuset来限制可用的内核数量。

echo 128 > /sys/fs/cgroup/cpu/shell/cpu.shares
echo 50331648 > /sys/fs/cgroup/memory/shell/memory.limit_in_bytes

现在将 PID 添加到 cgroup 中，它也会影响他们所有的孩子。

echo 13065 >  /sys/fs/cgroup/cpu/shell/tasks
echo 13065 >  /sys/fs/cgroup/memory/shell/tasks

我运行了几个测试。试图分配大量内存的 Python 被 OOM 杀死：

myaut@zenbook:~$ python -c 'l = range(3000000)'
Killed

我还在 cgroup 中运行了四个无限循环和第五个。正如预期的那样，在 cgroup 中运行的循环仅获得了大约 45% 的 CPU 时间，而其余的循环获得了 355%（我有 4 个内核）。

所有这些变化都不会在重启后幸存下来！

您可以将此代码添加到运行 mongodump 的脚本中，或者使用一些永久解决方案。