相关疑难解决方法(0)

在神经网络中进行自适应学习率时使用哪个乘法和加法因子?

我是神经网络的新手,为了掌握这个问题,我实现了一个基本的前馈MLP,我目前通过反向传播进行训练.我知道有更复杂和更好的方法可以做到这一点,但在机器学习简介中,他们建议用一两个技巧,基本的梯度下降可以有效地从现实世界数据中学习.其中一个技巧是自适应学习率.

该想法是当误差变小时将学习速率增加恒定值a,并且当误差变大时将学习速率减小学习速率的分数b.所以基本上学习率的变化取决于:

+(a)
Run Code Online (Sandbox Code Playgroud)

如果我们正朝着正确的方向学习,那么

-(b * <learning rate>)
Run Code Online (Sandbox Code Playgroud)

如果我们破坏了我们的学习 但是,在上面的书中,没有关于如何设置这些参数的建议.我不希望得到一个精确的建议,因为参数调整本身就是一个完整的主题,但至少只是暗示了它们的数量级.有任何想法吗?

谢谢你,
Tunnuz

backpropagation neural-network

6
推荐指数
1
解决办法
868
查看次数

第2部分弹性反向传播神经网络

这是一个后续问题这篇文章.对于给定的神经元,我不清楚如何对其误差的偏导数及其重量的偏导数.

在这个网页上工作,很清楚传播是如何工作的(虽然我正在处理弹性传播).对于前馈神经网络,我们必须1)在通过神经网络向前移动时,触发神经元,2)从输出层神经元,计算总误差.然后3)向后移动,通过神经元中的每个重量传播该错误,然后4)再次前进,更新每个神经元中的权重.

确切地说,这些是我不理解的事情.

A)对于每个神经元,如何计算误差的偏导数(定义)超过权重的偏导数?我的困惑在于,在微积分中,偏导数是根据n变量函数计算的.在这篇文章中,我有点理解ldog和拜耳的答案.我甚至还不知道链条规则.但是,当我认为如何将其应用于ai)线性组合器和ii)S形激活函数的结果时,它不会凝胶化.

B)使用弹性传播方法,您将如何改变给定神经元的偏差?或者使用弹性传播训练在NN中没有偏差或阈值?

C)如果有两个或更多输出神经元,你如何传播总误差?每个输出神经元值是否会发生总误差*神经元重量?

谢谢

algorithm artificial-intelligence backpropagation neural-network

6
推荐指数
1
解决办法
1336
查看次数