Dav*_*man 7 python shared-memory multiprocessing
这里有一个基准测试代码来说明我的问题:
import numpy as np
import multiprocessing as mp
# allocate memory
%time temp = mp.RawArray(np.ctypeslib.ctypes.c_uint16, int(1e8))
Wall time: 46.8 ms
# assign memory, very slow
%time temp[:] = np.arange(1e8, dtype = np.uint16)
Wall time: 10.3 s
# equivalent numpy assignment, 100X faster
%time a = np.arange(1e8, dtype = np.uint16)
Wall time: 111 ms
基本上我想要在多个进程之间共享一个numpy数组,因为它很大且只读.这种方法效果很好,不需要额外的副本,并且过程的实际计算时间也很好.但是创建共享阵列的开销是巨大的.
这篇文章提供了一些很好的见解,为什么某些初始化数组的方法很慢(请注意,在上面的例子中,我使用的是更快的方法).但这篇文章并没有真正描述如何真正提高速度,使其像性能一样难以捉摸.
有没有人对如何提高速度有任何建议？一些cython代码是否有意义分配数组？
我正在使用Windows 7 x64系统.
由于第二个链接中给出的原因,这很慢,并且解决方案实际上非常简单:绕过(慢)RawArray切片分配代码,在这种情况下,从源数组一次无效地读取一个原始C值以创建Python对象,然后将其直接转换回原始C以便存储在共享数组中,然后丢弃临时Python对象,并重复1e8次数.
但你不需要这样做; 像大多数C级事物一样,RawArray实现缓冲协议,这意味着你可以将它转换为一个memoryview底层原始内存的视图,它以类似C的方式实现大多数操作,如果可能的话使用原始内存操作.所以不要这样做:
# assign memory, very slow
%time temp[:] = np.arange(1e8, dtype = np.uint16)
Wall time: 9.75 s # Updated to what my machine took, for valid comparison
用memoryview它来操作它作为一个类似原始字节的对象并分配这种方式(np.arange已经实现了缓冲协议,并且memoryview切片赋值运算符无缝地使用它):
# C-like memcpy effectively, very fast
%time memoryview(temp)[:] = np.arange(1e8, dtype = np.uint16)
Wall time: 74.4 ms # Takes 0.76% of original time!!!
注意,后者的时间是毫秒,而不是秒; 使用memoryview包装进行复制以执行原始内存传输所需的时间不到1%,RawArray默认情况下采用模式化方法!
只需在共享数组周围放置一个numpy数组即可：
import numpy as np
import multiprocessing as mp
sh = mp.RawArray('i', int(1e8))
x = np.arange(1e8, dtype=np.int32)
sh_np = np.ctypeslib.as_array(sh)
然后时间：
%time sh[:] = x
CPU times: user 10.1 s, sys: 132 ms, total: 10.3 s
Wall time: 10.2 s
%time memoryview(sh).cast('B').cast('i')[:] = x
CPU times: user 64 ms, sys: 132 ms, total: 196 ms
Wall time: 196 ms
%time sh_np[:] = x
CPU times: user 92 ms, sys: 104 ms, total: 196 ms
Wall time: 196 ms
无需弄清楚如何强制转换memoryview（就像我在python3 Ubuntu 16中所必须的）并弄乱了重塑（如果x有更大的尺寸，因为cast()变平了）。并用于sh_np.dtype.name像任何numpy数组一样仔细检查数据类型。:)