降低多处理的进程优先级.Pool在Windows上

Question

我multiprocessing.Pool()用来并行化一些重的Pandas处理,但发现它有点太成功了.我的CPU使用率达到100%,我的整台计算机变得非常无响应.甚至鼠标也变得难以使用.

我可以使用此代码更改进程的进程优先级.

import psutil
p = psutil.Process(os.getpid())
p.nice = psutil.BELOW_NORMAL_PRIORITY_CLASS

但是,当我查看Windows任务管理器时,我发现只有主python.exe进程已更改为低于正常优先级.

有没有一种降低池进程优先级的好方法？

Answer 1

您可以尝试在生成过程后设置进程'子项的优先级.就像是:

import psutil

# spawn children and/or launch process pool here

parent = psutil.Process()
parent.nice(psutil.BELOW_NORMAL_PRIORITY_CLASS)
for child in parent.children():
    child.nice(psutil.BELOW_NORMAL_PRIORITY_CLASS)