卷积神经网络 - 多通道

Question

当输入层存在多个通道时,如何进行卷积运算？(例如RGB)

在对CNN的体系结构/实现进行一些阅读之后,我理解特征映射中的每个神经元都引用由内核大小定义的图像的NxM像素.然后通过学习NxM权重集(内核/滤波器),求和并输入到激活函数中的特征映射来对每个像素进行因子分解.对于一个简单的灰度图像,我想操作将遵循以下伪代码:

for i in range(0, image_width-kernel_width+1):
    for j in range(0, image_height-kernel_height+1):
        for x in range(0, kernel_width):
            for y in range(0, kernel_height):
                sum += kernel[x,y] * image[i+x,j+y]

        feature_map[i,j] = act_func(sum)
        sum = 0.0

但是我不明白如何扩展此模型来处理多个通道.每个要素图需要三个单独的权重集,每种颜色之间是否共享？

参考本教程的"共享权重"部分:http://deeplearning.net/tutorial/lenet.html 要素图中的每个神经元都参考层m-1,颜色从不同的神经元引用.我不明白他们在这里表达的关系.是神经元内核还是像素,为什么它们会引用图像的不同部分？

根据我的例子,似乎单个神经元内核是图像中特定区域所独有的.为什么他们将RGB组件分成几个区域？

Answer 1

当输入层存在多个通道时,如何进行卷积运算？(例如RGB)

在这种情况下,每个输入通道(也称为平面)都有一个2D内核.

因此,您分别执行每个卷积(2D输入,2D内核),并总结给出最终输出要素图的贡献.

请参阅本的幻灯片64 CVPR 2014教程通过Marc'Aurelio Ranzato:

每个要素图需要三个单独的权重集,每种颜色之间是否共享？

如果考虑给定的输出要素图,则需要3 x 2D内核(即每个输入通道一个内核).每个2D内核沿整个输入通道(此处为R,G或B)共享相同的权重.

因此整个卷积层是4D张量(nb.输入平面x nb.输出平面x内核宽度x内核高度).

为什么他们将RGB组件分成几个区域？

如上所述,将每个R,G和B通道视为具有其专用2D内核的单独输入平面.

Answer 2

例如，如果您的输入图像的大小为 W x H x C，其中 W、H 和 C 表示宽度的长度、高度和通道的大小。过滤器（又名内核）的维度将是 K x K x C，其中 K 表示内核维度的长度。使用max聚合不同渠道的结果无法区分渠道之间的细微差别，这不是我们想要的。如下图（源）所示，输入数据的大小为 6 x 6 x 3。单元（过滤器）的数量为 2，每个单元的尺寸为 3 x 3 x 3。输出为 4 x 4 x 2. 所以一般来说通道需要在每个过滤器下单独处理。