Sim*_*ful 1 machine-learning neural-network deep-learning recurrent-neural-network
训练RNN和简单神经网络有什么区别？RNN能否使用前馈和后退方法进行训练？
谢谢!
不同之处在于复发.因此,RNN无法轻易训练,就像您尝试计算渐变一样 - 您很快就会发现,为了在第n步获得渐变 - 您需要实际"展开"您的网络历史记录n-1个前一步骤.这种被称为BPTT(通过时间反向传播)的技术就是这样 - 将反向传播直接应用于RNN.不幸的是,这既是计算上的昂贵,也是数学上具有挑战性的(由于消失/爆炸的梯度).人们正在多层次上创建变通方法,例如引入可以有效训练的特定类型的RNN(LSTM,GRU),或者通过修改训练程序(例如梯度钳制).总而言之 - 理论上你可以从编程的角度来做数学意义上的"典型"反向支持 - 这需要更多的工作,因为你需要通过历史"展开"你的网络.这是计算上昂贵的,并且难以在数学意义上进行优化.
| 归档时间： |
|
| 查看次数： |
191 次 |
| 最近记录： |