在神经网络中添加辍学的地方？

Question

我已经看到有关神经网络不同部分的丢失的描述:

1. 重量矩阵中的丢失,

2. 在矩阵乘法之后和relu之前隐藏层中的丢失,

3. relu后隐藏层中的丢失,

4. 并且在softmax函数之前输出分数中的丢失

我对应该在哪里执行辍学感到有点困惑.有人可以帮忙详细说明吗？谢谢!

Answer 1

所以：

1. 您描述的第一种用法称为weights 上的 dropout。
2. 您描述的第二种和第三种用法是相同的，它们通常被描述为dropout on activations。人们可能很容易注意到，当整行（或列 - 取决于实现）关闭时，它可能会以权重的丢失来表示。
3. 在第 4 种情况下，它不是 dropout 的正确用法-您要在其上使用 dropout 的层是输出层-因此在那里使用 dropout 并不是最好的主意。