对于Python多处理,使用OMP_NUM_THREADS = 1

Question

我听说OMP_NUM_THREADS=1在调用使用多处理的Python脚本之前使用会使脚本更快.

这是真的吗？如果是的话,为什么呢？

Answer 1

由于您在评论中说您的Python程序正在调用使用OpenMP的C模块:

OpenMP在进程内进行多线程处理,默认线程数通常是CPU实际可以同时运行的数量.(这通常是CPU核心的数量,如果CPU具有SMT功能,如英特尔的超线程,则为该核心数的倍数.)因此,如果你有一个四核非超线程CPU,那么OpenMP将会想默认运行4个线程.

当您使用Python的multiprocessing模块时,您的程序会启动多个可以同时运行的Python进程.您可以控制进程数,但通常您会希望它是CPU核心/线程的数量,例如返回multiprocessing.cpu_count().

那么,如果运行一个multiprocessing运行4个Python进程的程序,并且每个调用一个OpenMP函数运行4个线程,该四核CPU会发生什么？您最终在4个核心上运行16个线程.这样做可行,但效率不高,因为每个核心都需要花一些时间在任务之间切换.

设置OMP_NUM_THREADS=1基本上会关闭OpenMP多线程,因此每个Python进程都保持单线程.

但是,如果你这样做,请确保你正在启动足够的Python进程!如果你有4个CPU内核并且你只运行2个单线程Python进程,那么你将使用2个内核,另外2个空闲.(在这种情况下,您可能想要设置OMP_NUM_THREADS=2.)