Color-Information 对 CNN 的作用/影响

Dan*_*eri 2 python computer-vision conv-neural-network

作为项目的一部分,我想研究颜色对 CNN 的作用/影响。不幸的是,到目前为止我发现的信息很少,如果您对我有任何文献建议,我希望收到您的来信。

基本上我想研究颜色对 CNN 的影响方式、原因和影响。为什么我应该使用具有 3 个通道的图像,而不是仅使用一个通道的图像。

此外,我想研究色彩空间的影响,我找到了一篇论文,但也许其中一个知道其他有用的文献。

您知道我如何才能最好地进行这项调查吗?

我思考过以下问题:

  1. 使用 RGB 数据集训练 CNN(例如 VGG16)。
  2. 以灰度方式训练相同的数据集。
  3. 比较性能,过滤器(不知道这是否有用),比较特征图。

--

对于第二个问题(色彩空间),我将进行类似的处理。

  1. 使用 RGB 数据集训练 CNN。
  2. 使用 HSV 数据集等训练 CNN。

我走在正确的轨道上吗?您对如何更好地发挥作用有什么建议吗?

我会很高兴得到答案。感谢大家,丹

Abh*_*25t 5

CNN 对工件的不变性源自您的数据。CNN 仅有数据来了解颜色是否是识别物体的决定性因素。

假设您要识别 MNIST 图像数据集中的数字。对于数字“8”,颜色没有语义意义——“8”无论是红色还是绿色,都是“8”。如果你只向 CNN 提供红色的“8”,它就会知道红色是识别“8”的决定性因素。通过向其提供大量不同颜色的“8”,CNN 将了解到颜色对识别“8”的影响很小。红色通道或红色特征的权重不会占主导地位。由于颜色不太可能带来任何性能提升,因此我们可以将图像转换为灰度,并且我们期望性能变化最小。

但 ImageNet 数据集主要包含自然图像,其中颜色起着语义作用。例如,猫可能是白色、黑色或棕色的。你永远不会看到绿色或红色的猫。淡黄色的猫状生物可能是狮子/老虎/豹子等。对于自然图像,颜色可以为您提供额外的信息,而将图像转换为灰度可能会损害性能。

对于颜色空间,如果颜色空间可以通过方程进行转换,则CNN可以学习转换方程,因此颜色空间的变化不会产生任何影响。但在 YUV 颜色空间中,它将发光(Y 分量)与颜色分量(U 和 V)分开。发光对于识别来说不太重要,因为它更多地取决于光源而不是物体属性,而 U 和 V 分量更相关。

本书的章节(链接)可能会给您带来进一步的见解。

还可以办理退房手续:

“图像色彩空间对卷积神经网络性能的影响”作者:K Sumanth Reddy;乌帕斯纳·辛格;普拉卡什·K·乌塔姆. 发表于:2017年第二届IEEE电子、信息和通信技术最新趋势国际会议(RTEICT)。( https://ieeexplore.ieee.org/document/8256949 )

作者研究了不同颜色空间(RGB、HSL、HSV、LUV、YUV)对使用 CIFAR10 数据集训练的 AlexNet CNN 性能的影响。

还有一篇相关主题的论文:链接