有没有一种有效的方法在python中的多处理中共享只读稀疏矩阵

Question

我发现很多类似的问题,但没有答案.对于简单数组,有多处理.Array.对于稀疏矩阵或任何其他任意对象,我找到manager.namespace.所以我尝试了下面的代码:

from scipy import sparse
from multiprocessing import Pool
import multiprocessing
import functools

def myfunc(x,ns):
    return ns.A[x,:]*ns.A*ns.A[:,x]

manager = multiprocessing.Manager()
Global = manager.Namespace()
pool=Pool()
Global.A=sparse.rand(10000,10000,0.5,'csr')
myfunc2=functools.partial(myfunc,ns=Global)
r=pool.map(myfunc2, range(100))

代码有效,但效率不高.16名工人中只有4名工作.原因是,我猜,经理只允许一个工人一次访问数据.由于数据是只读的,我真的不需要锁.那么有更有效的方法吗？

ps,我见过有人在谈论copy-on-write fork().我真的不明白它是什么,但它不起作用.如果我先生成A并执行Pool(),则每个进程都会有一个A的副本.

先感谢您.

Answer 1

命名空间对象的属性仅在显式分配给时才会更新。这里给出了很好的解释。

编辑：看看实现（在multiprocessing/managers.py），它似乎没有使用共享内存。它只是腌制对象并在请求时将它们发送给孩子。这可能就是为什么需要这么长时间的原因。

您创建的池中是否有比 CPU 核心数更多的工作线程？（即使用构造processes函数的参数Pool。）这通常不是一个好主意。

您还可以尝试其他一些方法；

• 将稀疏矩阵写入文件，并让每个工作进程读取该文件。操作系统可能会将文件放入其缓冲区缓存中，因此其性能可能比您想象的要好得多。
• 一个可能的改进是使用 mmap 模块来使用内存映射文件。