我需要执行许多并行数据库连接和查询的池.我想使用multiprocessing.Pool或concurrent.futures ProcessPoolExecutor.Python 2.7.5
在某些情况下,查询请求需要太长时间或永远不会完成(挂起/僵尸进程).我想从已经超时的multiprocessing.Pool或concurrent.futures ProcessPoolExecutor中删除特定进程.
下面是一个如何杀死/重新生成整个进程池的示例,但理想情况下我会尽量减少CPU抖动,因为我只想杀死一个特定的长时间运行的进程,该进程在超时秒后没有返回数据.
出于某种原因,在返回并完成所有结果后,下面的代码似乎无法终止/加入进程池.它可能与发生超时时杀死工作进程有关,但是当Pool被杀死并且结果符合预期时,Pool会创建新工作程序.
from multiprocessing import Pool
import time
import numpy as np
from threading import Timer
import thread, time, sys
def f(x):
time.sleep(x)
return x
if __name__ == '__main__':
pool = Pool(processes=4, maxtasksperchild=4)
results = [(x, pool.apply_async(f, (x,))) for x in np.random.randint(10, size=10).tolist()]
while results:
try:
x, result = results.pop(0)
start = time.time()
print result.get(timeout=5), '%d done in %f Seconds!' % (x, time.time()-start)
except Exception as e:
print str(e)
print '%d Timeout Exception! …