python多处理池:如何知道池中的所有工作者何时完成？

Question

我在python中运行一个多处理池,在那里我有~2000个任务,被映射到池中的24个工作者.每个任务都基于一些数据分析和Web服务创建一个文件.

当池中的所有任务都完成时,我想运行一个新任务.如何判断池中的所有进程何时完成？

Answer 1

您希望使用该join方法,该方法会停止主进程线程向前移动,直到所有子进程结束:

阻塞调用线程,直到调用join()方法的进程终止或发生可选超时.

from multiprocessing import Process

def f(name):
    print 'hello', name

if __name__ == '__main__':
    processes = []
    for i in range(10):
        p = Process(target=f, args=('bob',))
        processes.append(p)

    for p in processes:
        p.start()
        p.join()

     # only get here once all processes have finished.
     print('finished!')

编辑:

与池一起使用join

    pool = Pool(processes=4)  # start 4 worker processes
    result = pool.apply_async(f, (10,))  # do some work
    pool.close()
    pool.join()  # block at this line until all processes are done
    print("completed")