Bob*_*Bob 5 python linux multiprocessing taskset
我知道在 python 中获取核心数的标准方法是使用multiprocess.cpu_count
import multiprocessing
print(multiprocessing.cpu_count())
Run Code Online (Sandbox Code Playgroud)
此外,在创建任务时,我们可以使用taskset指定进程可以访问的一些核心。
显然cpu_count,总是获取机器的可用核心数量,无论该进程是否被限制为仅使用其中一些核心。
python nproc.py
taskset 7 python nproc.py
taskset 1 python nproc.py
Run Code Online (Sandbox Code Playgroud)
另一方面,nproc给出了该进程可用的核心数量。
taskset 7 nproc # gives at most 3
taskset 1 nproc # gives 1
Run Code Online (Sandbox Code Playgroud)
我知道我可以调用nproc或taskset -p {os.getpid()}来获取正确的核心数量。有没有另一种方法可以做到这一点,而不依赖其他程序(阅读
/proc/{os.pid()}/*可能是一个解决方案)。
谢谢
根据文档,这可能是有限的可用性,但似乎图书馆os有你想要的;
与调度程序的接口
这些函数控制操作系统如何为进程分配 CPU 时间。它们仅在某些 Unix 平台上可用。有关更多详细信息,请参阅 Unix 联机帮助页。
3.3 版本中的新功能。
...
os.sched_getaffinity(pid)
返回具有 PID pid 的进程(如果为零,则返回当前进程)所限制的 CPU 集合。
使用 Ubuntu 20.04.2 (WSL) 进行测试:
aaron@DESKTOP:/mnt/c$ python3 -c "import os; print(os.sched_getaffinity(0))"
{0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11}
aaron@DESKTOP:/mnt/c$ taskset 7 python3 -c "import os; print(os.sched_getaffinity(0))"
{0, 1, 2}
Run Code Online (Sandbox Code Playgroud)
编辑:在 Windows 上你可能需要看看psutil