相关疑难解决方法(0)

我试着阅读http://docs.python.org/dev/library/multiprocessing.html上的文档,但我仍然在努力处理多处理队列,池和锁定.现在我能够构建下面的示例.

关于队列和池,我不确定我是否以正确的方式理解了这个概念,所以如果我错了,请纠正我.我想要实现的是在时间处理2个请求(在这个例子中数据列表有8个)所以,我应该使用什么？池创建2个进程,可以处理两个不同的队列(最多2个)或者我应该只使用Queue每次处理2个输入？锁定将正确打印输出.

import multiprocessing
import time

data = (['a', '2'], ['b', '4'], ['c', '6'], ['d', '8'],
        ['e', '1'], ['f', '3'], ['g', '5'], ['h', '7']
)


def mp_handler(var1):
    for indata in var1:
        p = multiprocessing.Process(target=mp_worker, args=(indata[0], indata[1]))
        p.start()


def mp_worker(inputs, the_time):
    print " Processs %s\tWaiting %s seconds" % (inputs, the_time)
    time.sleep(int(the_time))
    print " Process %s\tDONE" % inputs

if __name__ == '__main__':
    mp_handler(data)

我有一个我试图并行化的算法，因为串行运行时间很长。然而，需要并行化的函数在一个类中。multiprocessing.Pool似乎是最好和最快的方式来做到这一点，但有一个问题。它的目标函数不能是对象实例的函数。意思是这个；您可以Pool通过以下方式声明 a ：

import multiprocessing as mp
cpus = mp.cpu_count()
poolCount = cpus*2
pool = mp.Pool(processes = poolCount, maxtasksperchild = 2)

然后实际使用它：

pool.map(self.TargetFunction, args)

但这会引发错误，因为无法对对象实例进行腌制，因为该Pool函数确实会将信息传递给其所有子进程。但我必须使用self.TargetFunction

所以我有一个想法，我将创建一个名为的新 Python 文件，parallel并简单地编写几个函数而不将它们放在一个类中，然后从我的原始类（我想并行化其函数）中调用这些函数

所以我试过这个：

import multiprocessing as mp

def MatrixHelper(args):
    WM = args[0][0]
    print(WM.CreateMatrixMp(*args))
    return WM.CreateMatrixMp(*args)

def Start(sigmaI, sigmaX, numPixels, WM):

    cpus = mp.cpu_count()
    poolCount = cpus * 2
    args = [(WM, sigmaI, sigmaX, i) for i in range(numPixels)]
    print('Number of cpu\'s …