神经网络如何克服偏差/方差困境？

Question

深度学习被视为神经网络的重塑.

Stuart Geman在"神经网络与偏差/方差困境"一文中提出的问题是否已经 在今天使用的架构中得到解决？

Answer 1

我们学到了很多关于NN的知识,特别是:

• 由于无监督/自回归学习的进展,我们现在可以学到更好的表示,例如限制的boltzman机器,自动编码器,去噪自动编码器,变分自动编码器,这有助于稳定过程,从合理的表示中学习
• 我们有更好的先验 - 在严格的概率意义上并不是最好的,但我们知道,例如在图像处理中,一个好的架构是卷积的,因此我们有一个较小的(在参数方面),但更适合这个问题 - 楷模.因此,我们不太容易过度拟合.
• 我们有更好的优化技术和激活功能 - 这有助于我们进行不合适(我们可以学习更大的网络),特别是 - 我们可以学习更深层次的网络.为什么深度往往更好呢？因为再次 - 这是另一个先验,假设表示应该是分层的,并且它似乎在许多现代问题之前是有效的(甚至不是所有现代问题).
• 辍学和其他技术带来了更好的正则化方法(比以前已知和使用的简单权重先验) - 这再次限制了过度拟合(方差)的问题.

还有很多事情发生了变化,但总的来说 - 我们只是能够找到更好的架构,更好的假设,因此我们现在可以搜索更狭隘的假设.因此 - 我们过度减少(方差),低调(偏见) - 但仍有许多工作要做!

接下来就是@david指出的数据量.我们现在拥有庞大的数据集,我们经常可以访问我们可以在合理的时间内处理的更多数据,显然更多的数据意味着更少的方差 - 即使高度过度拟合的模型也开始表现良好.

最后,但并非最不重要 - 硬件.每个深度学习专家都会告诉你 - 我们的计算机变得更强大了.我们仍然使用相同的算法,相同的架构(有许多小调整,但核心是相同的),但我们的硬件指数级更快,而且这种情况发生了很大变化.