在进程对象之间共享SciPy稀疏数组

Question

我最近一直在学习Python多处理,并遇到了障碍.我有一个稀疏的SciPy数组(CSC格式),我需要在5个工作进程之间以只读格式共享.我已经读过这个和这个(numpy-shared),但这似乎只适用于密集类型.

如何在不复制(或使用最少复制)5个多处理过程对象的情况下共享scipy.sparse.csc_matrix()？即使是numpy-shared方法似乎也需要复制整个数组,即便如此,我也不能将scipy.sparse转换为mp.Array().任何人都可以帮我指出正确的方向吗？

谢谢!

Answer 1

我无法帮助您解决问题的多重处理部分，但 CSC 稀疏矩阵只不过是三个 numpy 数组。您可以实例化另一个稀疏矩阵 ，b与稀疏矩阵 共享相同的内存对象，a方法是：

import scipy.sparse as sps

b = sps.csc_matrix((a.data, a.indices, a.indptr), shape=a.shape, copy=False)

a.data，a.indices和a.indptr是您想要在进程之间共享的三个 numpy 数组，如果您能做到这一点，那么在每个进程中实例化稀疏矩阵将是一个廉价的操作。