前馈神经网络与递归神经网络的根本区别？

Question

我经常读到,前馈和递归神经网络(RNN)之间存在根本区别,因为缺乏内部状态,因此前馈网络中存在短期记忆.这对我来说似乎有点合情合理.

然而,当通过时间算法反向传播学习递归神经网络时,如果我理解正确,则将循环网络转换为等效的前馈网络.

这意味着,实际上没有根本的区别.为什么RNN在某些任务(图像识别,时间序列预测......)中的表现要比深度前馈网络好？

Answer 1

训练是使用某种技巧完成的，这一事实并没有改变这样一个事实：网络状态的保存存在根本性的差异，而前馈网络中不存在这一点。

“展开”的前馈网络并不等同于循环网络。它只是马尔可夫近似（由“展开”级别的数量给出的级别）。因此，您只需使用k 步内存“模拟”循环网络，而实际的循环神经网络（理论上）具有无限的内存。