在神经网络的回归任务中退出

Question

我有一个用于回归预测的神经网络，这意味着输出是 0 到 1 范围内的实数值。

我对所有层都使用了 drop out，错误突然增加并且从未收敛。

drop out 可用于回归任务吗？因为如果我们忽略一些节点，那么最后一层的节点就会减少，预测值肯定会与实际值有很大差异。所以反向传播的误差会很大，模型会被破坏。那么为什么我们要在神经网络中使用 dropout 来执行回归任务呢？

Answer 1

因为如果我们忽略一些节点，那么最后一层的节点就会减少，预测值肯定会与实际值有很大差异。

你是对的。因此，大多数框架会在训练期间增加神经元的数量（而不是在预测期间）。这个简单的技巧非常有效，并且适用于大多数情况。然而，它对于回归任务来说效果不太好。当激活的输出可以相互关联时（如 softmax），它可以很好地工作。在回归中，值是绝对的，“训练”和“预测”设置中的微小差异有时确实会导致轻微的不稳定。

最好从 0 的 dropout 开始，然后慢慢增加它以观察什么值可以提供最佳结果