神经网络模型中的隐藏层数

Question

有人能够向我解释或指向一些资源,说明为什么(或情况下)神经网络中有多个隐藏层是必要或有用的？

Answer 1

基本上更多的层允许表示更多的功能.人工智能课程的标准书,Russell和Norvig的"人工智能,现代方法",详细介绍了第20章中多层的重要性.

一个重要的一点是,使用足够大的单个隐藏层,您可以表示每个连续函数,但您需要至少2个层才能表示每个不连续的函数.

但实际上,单层至少99%的时间都足够了.

Answer 2

1. 这更类似于大脑的工作方式（这可能不一定是计算优势，但很多人研究神经网络是为了深入了解大脑的工作方式，而不是为了解决现实世界的问题。
2. 使用更多层更容易实现某些类型的不变性。例如，无论对象在图像中的位置或对象的大小如何，图像分类器都可以工作。参见Bouvrie, J.、L. Rosasco 和 T. Poggio。“论层次模型中的不变性”。神经信息处理系统 (NIPS) 的进展，2009 年 22 月。