为什么神经网络有多层且每层有多个节点？

Question

我刚刚开始学习神经网络，到目前为止我对机器学习的了解只是线性和逻辑回归。根据我对后一种算法的理解，给定多个输入，学习算法的工作是为每个输入提出适当的权重，以便最终我得到一个多项式，该多项式要么描述线性回归的数据，要么就像逻辑回归的情况一样将其分开。如果我要在神经网络中表示相同的机制，根据我的理解，它会看起来像这样， 输入层有多个节点，输出层有单个节点。我可以将误差按比例反向传播到每个输入。因此最终我也得到了描述数据的多项式 X1W1 + X2W2+....XnWn 。对我来说，除了输入层之外，每层有多个节点似乎使学习过程并行，这样我就可以更快地得出结果。这几乎就像运行多个学习算法，每个算法都有不同的起点，看看哪个算法收敛得更快。至于多层，我不知道它对学习结果有什么机制和优势。

Answer 1

\n

为什么神经网络有多层且每层有多个节点？

\n

\n\n

我们需要至少一个具有非线性激活的隐藏层才能学习非线性函数。通常，人们将每一层视为一个抽象级别。对于计算机视觉，输入层包含图像，输出层包含每个类别的一个节点。第一个隐藏层检测边缘，第二个隐藏层可能检测圆形/矩形，然后出现更复杂的图案。

\n\n

有一个理论结果表明，如果该隐藏层具有足够的神经元，则仅具有一个隐藏层的 MLP 可以将每个感兴趣的函数拟合到任意低的误差范围。但是，参数的数量可能比添加更多层时要大得多。

\n\n

基本上，通过在每层添加更多隐藏层/更多神经元，您可以向模型添加更多参数。因此，您允许模型适应更复杂的函数。然而，据我所知，还没有定量地了解添加一个进一步的层/节点到底会带来什么。

\n\n

在我看来，您可能想要对神经网络进行一般介绍。我推荐 [Tho14a]（我的学士论文）以及 [LBH15] 的第 4.3 和 4.4 章。

\n\n

\n

[Tho14a]\n M. Thoma，\xe2\x80\x9c 手写数学符号的在线识别，\xe2\x80\x9d\n 德国卡尔斯鲁厄，2014 年 11 月。[在线]。可用： https: //arxiv.org/abs/1511.09030

\n\n

[LBH15]\n Y. LeCun，\n 卷。521，\n Y. Bengio，\n 没有。7553，\n 和 G. Hinton，\n 第 436 页\xe2\x80\x93444，\n \xe2\x80\x9c深度学习，\xe2\x80\x9d\n Nature，\n 2​​015 年 5 月。[在线]。可用：\n http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html

\n

\n