use*_*645 3 machine-learning neural-network
我刚开始研究循环神经网络.我在Elman的网络上找到了三个信息来源(Elman 1991).
根据第一资源,不更新从隐藏到上下文/上下文到隐藏层的权重.
从第二个资源,它还将这些更新设置为0,这意味着它不会更新权重.
但是从Stackoverflow上的第三个资源,用户声称"随着训练的进行,上下文神经元神经元值本身不会更新.在训练期间,它们与下一层之间的权重会更新."
我理解上下文神经元在时间t保存隐藏神经元的值,并将其(与输入神经元一起)馈送到t + 1处的隐藏神经元.但我们是否必须更新其间的权重？
小智 5
我不确定这个问题是否仍然重要,但这是我的解释:
从隐藏层到上下文层的权重固定为1.这些权重不会更新.
但是,从上下文层到隐藏层的权重将得到更新.除了过去的价值之外,网络还有什么方法可以学习呢？如果它们不会改变,那么用它们初始化它们的正确价值是什么？当然不是1.
并且在训练期间将更新上下文神经元的值.不是通过使用某种类型的sigmoid函数,而是通过简单地复制隐藏层的值.
| 归档时间： |
|
| 查看次数： |
4107 次 |
| 最近记录： |