隐藏层多有什么问题？

Question

如果我们在神经网络中使用太多的隐藏层会有什么问题吗？谁能简单地描述一下如果我们有太多隐藏层会出现什么问题。

Answer 1

最重要的问题是所谓的“梯度消失现象”，很容易验证（无论是理论上还是实践上），不可能有效地训练多个隐藏层（假设传统的反向传播，没有深度学习/神经认知机/卷积网络）随着计算的梯度/导数越来越平滑。每增加一层，错误的“责任”就会消失。

过度拟合（正如 @Floris 错误地表述的那样）并不是这里的主要问题，因为同样的问题也来自隐藏单元的数量（事实上，增加一个隐藏层中的单元数量比增加隐藏层的数量更常见）层）。