构建仅具有完全连接层（卷积层的替代）的残差网络是否有意义？

Question

残差网络总是用卷积层构建。我从未见过只有全连接层的残差网络。构建一个只有全连接层的残差网络有用吗？

Answer 1

那么，让我们首先：ResNets 的目标是什么？

给定一个输入X，它通过特定的层集合传播，让我们调用F(X)该集合的输出。如果我们用H(X)期望的输出（理想映射，即F(X)!=H(X)）表示，resnet learn H(X) = F(X) + X，可以写成F(X) = H(X)-X，即残差，由此命名为残差网络。

那么，resnet 的增益是多少？

在 resnet 中，后续层的映射至少与前一层一样好。为什么？因为，至少，它学习了恒等式 ( F(X)=X) 的映射。

这是与卷积网络相关的一个重要方面。事实上，更深的网络应该比深度较小的网络表现得更好，但这并不总是发生。由此产生了建立一个保证这种行为的网络的必要性。

对于密集网络来说也是如此吗？不它不是。对于稠密网络有一个已知的定理（通用逼近定理），该定理指出：任何类型的网络都相当于两个稠密层网络，并且在两层之间分布有足够数量的隐藏单元。因此，没有必要增加密集网络的深度，而是需要找到正确数量的隐藏单元。

如果您愿意，可以探索He 等人 2015 年的原始论文。