神经网络-深度自动编码器和堆叠式自动编码器之间的区别

Question

免责声明：我也将此问题发布在CrossValidated上，但没有得到任何关注。如果不是这个地方，我很乐意将其删除。

据我了解，它们之间的唯一区别是两个网络的训练方式。深度自动编码器的培训方式与单层神经网络相同，而堆叠式自动编码器则采用贪婪的逐层方法进行培训。雨果·拉罗谢尔（Hugo Larochelle）在此视频的评论中证实了这一点。我想知道这是否是唯一的区别，是否有任何指针？

Answer 1

该领域的术语不是固定的、剪裁良好的、定义明确的，不同的研究可能意味着不同的事物或为相同的术语添加不同的方面。示例讨论：

• 深度学习和传统的人工神经网络机器学习有什么区别？（有些人认为 2 层足够深，有些人的意思是 10+ 或 100+ 层）。

• 多层感知器与深度神经网络（大多是同义词，但也有研究偏爱其中一种）。

至于 AE，根据各种消息来源，深度自动编码器和堆叠自动编码器是完全相同的同义词，例如，这里引用了“Hands-On Machine Learning with Scikit-Learn and TensorFlow”：

就像我们讨论过的其他神经网络一样，自编码器可以有多个隐藏层。在这种情况下，它们被称为堆叠自编码器（或深度自编码器）。

稍后，作者讨论了训练自动编码器的两种方法，并交替使用这两个术语。

我同意术语“堆叠”的看法是自动编码器可以在不重新训练的情况下扩展新层，但这实际上是正确的，无论现有层是如何训练的（联合或单独训练）。同样无论训练方法如何，研究可能会或可能不会称之为足够深。所以我不会过多关注术语。它可以在某一天稳定下来，但不是现在。