用于多处理的共享内存中的大型numpy数组:这种方法有问题吗？

Question

多处理是一个很棒的工具,但不是那么直接使用大内存块.您可以在每个进程中加载​​块并将结果转储到磁盘上,但有时您需要将结果存储在内存中.最重要的是,使用花哨的numpy功能.

我已经阅读/ google了很多,并提出了一些答案:

在共享内存中使用numpy数组进行多处理

在多处理过程之间共享大型只读Numpy数组

Python多处理全局numpy数组

如何在python子进程之间传递大型numpy数组而不保存到磁盘？

等等

他们都有缺点:不那么主流的图书馆(sharedmem); 全局存储变量; 不太容易阅读代码,管道等

我的目标是在我的工作人员中无缝使用numpy而不用担心转换和事情.

经过多次试验,我想出了这个.它适用于我的ubuntu 16,python 3.6,16GB,8核心机器.与以前的方法相比,我做了很多"快捷方式".没有全局共享状态,没有需要转换为numpy inside worker的纯内存指针,作为进程参数传递的大型numpy数组等.

上面是Pastebin链接,但我会在这里放几个片段.

一些进口:

import numpy as np
import multiprocessing as mp
import multiprocessing.sharedctypes
import ctypes

分配一些共享内存并将其包装成一个numpy数组:

def create_np_shared_array(shape, dtype, ctype)
     . . . . 
    shared_mem_chunck = mp.sharedctypes.RawArray(ctype, size)
    numpy_array_view = np.frombuffer(shared_mem_chunck, dtype).reshape(shape)
    return numpy_array_view

创建共享数组并在其中放入一些内容

src = np.random.rand(*SHAPE).astype(np.float32)
src_shared = create_np_shared_array(SHAPE,np.float32,ctypes.c_float)
dst_shared = create_np_shared_array(SHAPE,np.float32,ctypes.c_float)
src_shared[:] = src[:]  # Some numpy ops accept an 'out' array where to store the results

产生过程:

p = mp.Process(target=lengthly_operation,args=(src_shared, dst_shared, k, k + STEP))
p.start()
p.join()

以下是一些结果(请参阅pastebin代码以获取完整参考):

Serial version: allocate mem 2.3741257190704346 exec: 17.092209577560425 total: 19.46633529663086 Succes: True
Parallel with trivial np: allocate mem 2.4535582065582275 spawn  process: 0.00015354156494140625 exec: 3.4581971168518066 total: 5.911908864974976 Succes: False
Parallel with shared mem np: allocate mem 4.535916328430176 (pure alloc:4.014216661453247 copy: 0.5216996669769287) spawn process: 0.00015664100646972656 exec: 3.6783478260040283 total: 8.214420795440674 Succes: True

我还做了一个cProfile(为什么分配共享内存时还有2秒钟？)并意识到有一些调用tempfile.py,{method 'write' of '_io.BufferedWriter' objects}.

问题

• 难道我做错了什么？
• (大)阵列是来回腌制的吗？我没有获得任何速度的东西？请注意第二次运行(使用常规np数组无法通过正确性测试)
• 有没有办法进一步改善时间,代码清晰度等？(与多处理范式相对应)

笔记

• 我不能使用进程池,因为mem必须在fork中继承而不作为参数发送.

Answer 1

共享数组的分配很慢，因为显然它是先写入磁盘的，所以它可以通过 mmap 共享。有关参考，请参阅heap.py和sharedctypes.py。这就是为什么tempfile.py会出现在分析器中。我认为这种方法的优点是在崩溃时可以清理共享内存，而 POSIX 共享内存无法保证这一点。

由于 fork，您的代码不会发生酸洗，并且正如您所说，内存是继承的。第二次运行不起作用的原因是子进程不允许在父进程的内存中写入。相反，私有页面是动态分配的，只有在子进程结束时才会被丢弃。

我只有一个建议：您不必自己指定 ctype，可以从 numpy dtype 通过 找出正确的类型np.ctypeslib._typecodes。或者只是用于c_byte所有内容并使用 dtype itemsize 来计算缓冲区的大小，无论如何它都会由 numpy 进行转换。