如何使用Python和OpenCV进行多处理？

Question

我正在使用Python 3.4.3和OpenCV 3.0.0来处理(应用各种过滤器)内存中非常大的图像(80,000 x 60,000),我想使用多个CPU内核来提高性能.经过一些阅读,我得到了两种可能的方法:1)使用python的multiprocessing模块,让每个进程处理一大片大图像并在处理完成后加入结果(这可能应该在POSIX系统上执行？)2)由于NumPy支持OpenMP,而OpenCV使用NumPy,我可以将多处理留给NumPy吗？

所以我的问题是:

哪一个会是更好的解决方案？(如果它们看起来不合理,那么可能的方法是什么？)

如果选项2是好的,我应该用OpenMP构建NumPy和OpenCV吗？我如何实际进行多处理？(我真的找不到有用的指示..)

Answer 1

在阅读了一些 SO 帖子后，我想出了一种OpenCV在 Python3 中使用multiprocessing. 我建议在 Linux 上执行此操作，因为根据这篇文章，只要内容不更改，生成的进程就会与其父进程共享内存。这是一个最小的例子：

import cv2
import multiprocessing as mp
import numpy as np
import psutil

img = cv2.imread('test.tiff', cv2.IMREAD_ANYDEPTH) # here I'm using a indexed 16-bit tiff as an example.
num_processes = 4
kernel_size = 11
tile_size = img.shape[0]/num_processes  # Assuming img.shape[0] is divisible by 4 in this case

output = mp.Queue()

def mp_filter(x, output):
    print(psutil.virtual_memory())  # monitor memory usage
    output.put(x, cv2.GaussianBlur(img[img.shape[0]/num_processes*x:img.shape[0]/num_processes*(x+1), :], 
               (kernel_size, kernel_size), kernel_size/5))
    # note that you actually have to process a slightly larger block and leave out the border.

if __name__ == 'main':
    processes = [mp.Process(target=mp_filter, args=(x, output)) for x in range(num_processes)]

    for p in processes:
        p.start()

    result = []
    for ii in range(num_processes):
        result.append(output.get(True))

    for p in processes:
        p.join()

除了使用 之外Queue，从进程收集结果的另一种方法是通过multiprocessingmodule 创建共享数组。（必须导入ctypes）

result = mp.Array(ctypes.c_uint16, img.shape[0]*img.shape[1], lock = False)

然后，假设没有重叠，每个进程都可以写入数组的不同部分。然而，创建一个大的进程mp.Array却出奇地慢。这实际上违背了加速运行的目的。因此，仅当与总计算时间相比增加的时间不多时才使用它。该数组可以通过以下方式转换为 numpy 数组：

result_np = np.frombuffer(result, dtypye=ctypes.c_uint16)