python脚本挂起导入模块与多处理代码

Question

我正在尝试导入一个简单的模块,它使用多处理到我的主文件中.使用多处理的模块从a获得计算结果asyncresult.get().通过导入脚本调用此例程时,只会挂起并且不会继续.

这是一个小例子.

import_test.py(要导入的模块)

import sys
import multiprocessing as mp

if not hasattr(sys.stdin, 'close'):
    def dummy_close():
        pass
    sys.stdin.close = dummy_close

# simple test function to compute in parallel
def testf(x):
    return x*x

# multiprocessing code
pool = mp.Pool()
results = []
for i in range(0,2):
    results.append(pool.apply_async(testf, [i]))
for i in range(0,2):
    print results[i].get()
pool.close()
pool.join()

main.py(简单的脚本只导入代码,应该从import_test打印)

if __name__ == '__main__':
    import import_test

print "done"

运行脚本时,我可以看到导入发生,但第一次results[i].get()(asyncresult.get()例程)被调用整个脚本挂起并且不会继续而不会抛出任何错误.我在Mac OS X(El Capitan)和Windows 10下运行了两个明显不同的python设置.结果始终是上述行为.

如果我只是将导入模块中的代码放入其中,那么一切正常main.py.当然我的实际代码比这更复杂,我想在要导入的模块中保持并行计算.

我该如何解决这个问题？

Answer 1

我可能来得太晚了,但我想我能回答你的问题.我有一段时间回来了.它源于Python在导入期间如何处理GIL锁定以及它如何与多处理冲突创建死锁.

您应该查看https://docs.python.org/2/library/imp.html.问题如下:Python在执行导入时获取GIL锁定并在最后释放它.因此,当您在导入的模块中通过多处理运行线程并且需要获取锁时,会发生死锁.这就是为什么我建议你在主文件中进行多处理.

如果由于某种原因你绝对想在导入过程中进行多处理,那么还有一个解决方案:

 import imp
 if imp.lock_held():
     imp.release_lock()
     # do your multiprocessing stuff
     imp.acquire_lock() # Don't forget this import needs to have the lock acquired at the end of the import

如果你没有让imp重新获得锁,你将得到一个运行时异常.

我希望这显示对某人有帮助.