使用池映射的并行列表理解

Question

我有一个清单的理解：

thingie=[f(a,x,c) for x in some_list]

我正在并行化如下：

from multiprocessing import Pool

pool=Pool(processes=4)

thingie=pool.map(lambda x: f(a,x,c), some_list)

但我收到以下错误：

_pickle.PicklingError: Can't pickle <function <lambda> at 0x7f60b3b0e9d8>:
attribute lookup <lambda> on __main__ failed

我尝试安装pathos显然可以解决此问题的软件包，但是当我尝试导入它时，出现错误：

ImportError: No module named 'pathos'

Answer 1

好的，所以这个答案仅供参考，我已经在评论对话中与问题的作者弄清楚了。

multiprocessing需要在进程之间传输每个对象，因此它用于pickle在一个进程中对其进行序列化，而在另一个进程中进行反序列化。一切正常，但是pickle无法序列化lambda。这么说是因为pickle需要功能源来对其进行序列化，并且lambda不会有它，但是我不确定100％，也无法引用我的源代码。

如果map()在1个参数函数上使用将不会有任何问题-您可以传递该函数而不是lambda。如果您有更多参数，例如您的示例，则需要使用def关键字定义一些包装器：

from multiprocessing import Pool

def f(x, y, z):
    print(x, y, z)

def f_wrapper(y):
    return f(1, y, "a")

pool = Pool(processes=4)

result = pool.map(f_wrapper, [7, 9, 11])