卷积神经网络是否受到消失梯度的影响？

Question

我想我读到的地方卷积神经网络不会像消失的梯度问题那样受到层数增加的标准sigmoid神经​​网络的影响.但我一直无法找到'为什么'.

它真的没有受到问题的困扰,或者我是错的,这取决于激活功能？[我一直在使用整流线性单元,所以我从未测试过卷积神经网络的Sigmoid单位]

Answer 1

卷积神经网络(如标准的S形神经网络)确实遭受消失的梯度问题.克服消失梯度问题的最推荐方法是:

• 分层预训练
• 选择激活功能

您可能会发现,用于计算机视觉问题的最先进的深度神经网络(如ImageNet获胜者)已将卷积层用作其网络的前几层,但它不是解决消失梯度的关键.关键是通常逐层训练网络.使用卷积层当然还有其他几个重要的好处.特别是在输入尺寸较大(图像的像素)时的视觉问题中,建议使用第一层的卷积层,因为它们的参数少于完全连接的层,并且最终没有数十亿的参数用于第一层(这将使您的网络容易过度拟合).

然而,已经证明(如本文)几个任务使用整流线性单元减轻了梯度消失的问题(与传统的S形函数相反).