应该插入Dropout.？完全连接层.？卷积层.？或两者.？

Question

我想获得有关Dropout应插入位置的反馈意见？

它应该位于完全连接层(Dense)还是卷积层？或两者.？

感谢您提前的反馈.

Answer 1

通常,丢失仅被放置在完全连接的层上,因为它们是具有更多参数的那个,因此它们可能过度地共同适应它们自身导致过度拟合.

但是,由于它是一种随机正则化技术,您可以将它放在任何地方.通常,它被放置在具有大量参数的层上,但没有人拒绝将其应用于卷积层(相对于fc层具有较少数量的参数).

此外,应根据所需正则化的影响来改变丢弃概率.

在应用于卷积层时,当将丢失应用于完全连接的层同时将其设置为更大的数字(通常为0.8,0.9)时,经验法则是将保持概率(1 - 丢弃概率)设置为0.5.

请注意:因为在每个机器学习框架中,辍学都是以"倒置"版本实现的,所以你必须降低你的学习率,以克服辍学率给学习率带来的"提升".有关它的更全面的评估:https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/

Answer 2

Dropout只是一种防止网络过度拟合的正则化技术。它在训练期间以给定概率将节点的权重设置为零，从而减少每次迭代训练所需的权重数量。它可以应用于网络的每一层（无论是全连接层还是卷积层），也可以应用于选定的层之后。应用 dropout 的层实际上只是一个设计决策，以实现最佳性能。