为什么神经网络这么好工作？

Question

我了解使用前向prop和后向prop训练带有梯度下降的神经网络的所有计算步骤，但是我试图绕开为什么它们比逻辑回归好得多的原因。

现在，我只能想到的是：

A）神经网络可以学习自己的参数

B）比简单的逻辑回归有更多的权重，因此允许更复杂的假设

有人可以解释为什么神经网络总体上这么好吗？我是一个相对初学者。

Answer 1

神经网络可以具有大量的自由参数（相互连接的单元之间的权重和偏差），这使它们可以灵活地拟合高度复杂的数据（在正确训练后），而其他模型则过于简单。这种模型的复杂性带来了训练如此复杂的网络并确保所得到的模型推广到其所训练的示例的问题（通常，神经网络需要大量的训练数据，而其他模型则不需要）。

传统上，逻辑回归仅限于使用线性分类器进行的二元分类（尽管可以通过一对多，一对一等方法轻松实现多类分类，并且存在逻辑回归的核化变体，这些变体允许-线性分类任务）。因此，一般而言，逻辑回归通常应用于更简单，线性可分离的分类任务，在这些任务中可以使用少量的训练数据。

逻辑回归和线性回归等模型可以被认为是简单的多层感知器（请查看此站点以获取有关方法的一种解释）。

总而言之，正是模型的复杂性使神经网络能够解决更复杂的分类任务，并具有更广泛的应用（尤其是应用于图像像素强度等原始数据时），但是它们的复杂性意味着大量的训练数据是必需的，培训它们可能是一项艰巨的任务。

Answer 2

最近，Naftali Tishby 博士提出的解释深度神经网络有效性的信息瓶颈的想法正在学术界流传。他解释这个想法的视频（下面的链接）可能相当密集，所以我将尝试给出核心想法的提炼/一般形式，以帮助建立直觉

https://www.youtube.com/watch?v=XL07WEc2TRI

为了奠定你的思考基础，请可视化对图像中的数字进行分类的 MNIST 任务。为此，我仅讨论简单的全连接神经网络（不是 MNIST 通常使用的卷积神经网络）

神经网络的输入包含有关隐藏在其内部的输出的信息。需要一些函数将输入转换为输出形式。很明显。建立更好的直觉所需的思维的关键区别是将输入视为其中包含“信息”的信号（我不会在这里讨论信息论）。其中一些信息与手头的任务相关（预测输出）。将输出视为具有一定量“信息”的信号。神经网络尝试“连续细化”并压缩输入信号的信息以匹配所需的输出信号。将每一层视为切除输入信息中不必要的部分，并在网络中保留和/或转换输出信息。全连接神经网络将输入信息转换为最终隐藏层中的形式，使其与输出层线性可分。

这是对神经网络的一个非常高层次和基本的解释，我希望它能帮助你看得更清楚。如果您希望我澄清某些部分，请告诉我。

Tishby 博士的工作中还有其他重要部分，例如小批量噪声如何帮助训练，以及神经网络层的权重如何被视为在问题的约束内进行随机游走。这些部分更详细一些，我建议首先尝试神经网络并学习信息论课程以帮助建立您的理解。