CUDA小内核2d卷积 - 怎么做

Question

我一直在试验CUDA内核几天来在500x500图像之间执行快速2D卷积(但我也可以改变尺寸)和一个非常小的2D内核(laplacian 2d内核,所以它是一个3x3内核..太小了使用所有cuda线程获得巨大优势).

我创建了一个CPU经典实现(两个for循环,就像你想象的那样简单),然后我开始创建CUDA内核.

经过一些令人失望的尝试来执行更快的卷积后,我最终得到了这个代码:http: //www.evl.uic.edu/sjames/cs525/final.html(参见共享内存部分),它基本上让16x16线程阻止加载共享内存中所需的所有卷积数据,然后执行卷积.

没什么,CPU仍然快得多.我没有尝试FFT方法,因为CUDA SDK声明它对于大内核大小是有效的.

无论你是否阅读我写的所有内容,我的问题是:

如何使用CUDA在相对较大的图像和非常小的内核(3x3)之间执行快速2D卷积？

Answer 1

你是对的,3x3内核不适合基于FFT的方法.处理这个问题的最好方法是将内核推入恒定内存(或者如果你使用的是fermi +卡,这应该不会太重要).

由于您了解内核大小,因此最快的方法是将输入图像/信号的块读取到共享内存中,然后执行展开的乘法和添加操作.

-

如果您愿意使用库来执行此操作,ArrayFire和OpenCV 具有高度优化的Convolution例程,可以为您节省大量的开发时间.

我对OpenCV不太熟悉,但在ArrayFire中你可以做类似以下的事情.

array kernel = array(3, 3, h_kernel, afHost); // Transfer the kernel to gpu
array image  = array(w, h, h_image , afHost); // Transfer the image  to gpu
array result = convolve2(image, kernel);       // Performs 2D convolution

编辑

使用ArrayFire的额外好处是它的批处理操作允许您并行执行卷积.您可以在此处了解convolvutions如何支持批处理操作

例如,如果您有10个图像要使用相同的内核进行卷积,则可以执行以下操作:

array kernel = array(3, 3, h_kernel, afHost);     // Transfer the kernel to gpu
array images = array(w, h, 10, h_images, afHost); // Transfer the images to gpu
array res    = convolve2(images, kernel); // Perform all operations simultaneously

-

完全披露:我在AccelerEyes工作并积极致力于ArrayFire.