“前馈网络”和“全连接网络”有什么区别？

Question

有时我对这两个术语感到困惑。所以，我要求澄清这一点。有人说“前馈网络”是典型的神经网络。如果那样的话，“前馈网络”意味着更大的范围，包括“全连接网络”？如果那样的话，RNN 或 CNN 是否也包含在“前馈网络”中？我猜不是..我希望有一个明确的描述。谢谢你。

Answer 1

它们实际上是独立的属性：

• 前馈网络是没有循环连接的网络，也就是说，它与循环网络（RNN）相反。这是一个重要的区别，因为在前馈网络中，梯度是明确定义的，并且可以通过反向传播（即链式法则）进行计算，而在循环网络中，梯度计算可能需要无限次操作，因此您通常必须限制它具有固定数量的步骤，并且在任何情况下也更昂贵（参见时间反向传播）。
• 一个完全连接的网络，或者更恰当地说，网络中的一个完全连接的层是这样一种网络，即每个输入神经元都连接到下一层中的每个神经元。例如，这与卷积层形成对比，其中每个输出神经元取决于输入神经元的一个子集。

经典的多层感知器是由全连接层组成的前馈网络。大多数所谓的“卷积网络”也是前馈的，由许多卷积层和池化层组成，还有一些全连接层。像LSTM这样的循环单元通常不被认为是完全连接的，因为它的内部架构有点复杂和具体，但是你可以说它们有点像，因为最终每个输出都依赖于某些输入程度; 然而，它们不是前馈，因为它们呈现循环连接。