如何在'joblib' Python 库中共享变量

Question

from joblib import Parallel, delayed

def func(v):
    temp.append(v)
    return

temp = []
Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

我想让共享内存变量。但是temp的值为空[]。我该怎么做？

对于其他方法，我尝试了 pickle.dump 和 load。但是有一个锁定问题。请给我建议！

Answer 1

您需要使用multiprocessing.Manager.list，例如：

from joblib import Parallel, delayed
from multiprocessing import Manager

manager = Manager()
temp = manager.list()

def func(v, temp):
    temp.append(v)
    return

_ = Parallel(n_jobs=4)(delayed(func)(v, temp) for v in range(10))

temp[:]:

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Answer 2

from joblib import Parallel, delayed

def func(v):
    return v

temp = Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

delayed收集func列表中返回的输出并在完成时返回它。