让我们说我有一个很大的不同长度的音乐列表需要转换或不同大小的图像需要调整大小或类似的东西.顺序无关紧要,因此非常适合分割多个处理器.
如果我使用multiprocessing.Pool的map函数,似乎所有的工作都是提前划分的,并没有考虑到某些文件可能需要更长时间来完成其他工作的事实.
如果我有12个处理器......接近处理结束时,1或2个处理器将剩下2或3个文件处理,而其他可以使用的处理器闲置.
是否有某种队列实现可以保持所有处理器加载,直到没有剩下的工作要做?
python queue multithreading batch-file multiprocessing
batch-file ×1
multiprocessing ×1
multithreading ×1
python ×1
queue ×1