多处理池不适用于嵌套函数

Question

以下代码未按预期执行。

import multiprocessing

lock = multiprocessing.Lock()
def dummy():
    def log_results_l1(results):
        lock.acquire()
        print("Writing results", results)
        lock.release()

    def mp_execute_instance_l1(cmd):
        print(cmd)
        return cmd

    cmds = [x for x in range(10)]

    pool = multiprocessing.Pool(processes=8)

    for c in cmds:
        pool.apply_async(mp_execute_instance_l1, args=(c, ), callback=log_results_l1)

    pool.close()
    pool.join()
    print("done")


dummy()

但是如果函数不是嵌套的，它确实有效。到底是怎么回事。

Answer 1

multiprocessing.Pool像方法apply*和*map*方法有腌两功能和参数。函数由它们的限定名称腌制；本质上，在 unpickling 时，另一个进程需要能够导入它们在其中定义的模块并getattr调用以找到有问题的函数。嵌套函数在定义它们的函数之外无法按名称使用，因此酸洗失败。当您将函数移动到全局范围时，您修复了这个问题，这就是为什么当您这样做时它会起作用。