我有这个带有ReLU 隐藏层激活和Sigmoid 输出层激活的多层网络。我想实现dropout（每个神经元都有机会在训练期间只输出零）。
我想我可以在训练期间将这种噪声作为 ReLU 激活例程的一部分引入并完成它，但我不确定原则上dropout 是否扩展到可见/输出层。
（在我看来，dropout 消除了过拟合，因为它有效地使网络成为许多较小网络的平均值。我只是不确定输出层）
neural-network
neural-network ×1