我正在学习人工神经网络,并实施了一个带有几个隐藏层的标准前馈网络.现在,我试图理解递归神经网络(RNN)在实践中如何工作,并且在激活/传播如何流经网络时遇到问题.
在我的前馈中,激活是一个简单的逐层激发神经元.在循环网络中,神经元连接回先前的层,有时自身连接,因此传播网络的方式必须不同.麻烦的是,我似乎无法找到确切传播如何发生的解释.
怎么会发生这样的网络说:
Input1 --->Neuron A1 ---------> Neuron B1 ---------------------> Output
^ ^ ^ |
| | --------
| |
Input2 --->Neuron A2 ---------> Neuron B2
我想象这将是一个滚动的激活,逐渐消失,因为神经元的阈值将神经元的发射减少到0,就像在生物学中一样,但似乎通过衍生物有更多计算有效的方法来做到这一点？