Nut*_*tim 6 algorithm artificial-intelligence backpropagation neural-network
这是一个后续问题这篇文章.对于给定的神经元,我不清楚如何对其误差的偏导数及其重量的偏导数.
在这个网页上工作,很清楚传播是如何工作的(虽然我正在处理弹性传播).对于前馈神经网络,我们必须1)在通过神经网络向前移动时,触发神经元,2)从输出层神经元,计算总误差.然后3)向后移动,通过神经元中的每个重量传播该错误,然后4)再次前进,更新每个神经元中的权重.
确切地说,这些是我不理解的事情.
A)对于每个神经元,如何计算误差的偏导数(定义)超过权重的偏导数？我的困惑在于,在微积分中,偏导数是根据n变量函数计算的.在这篇文章中,我有点理解ldog和拜耳的答案.我甚至还不知道链条规则.但是,当我认为如何将其应用于ai)线性组合器和ii)S形激活函数的结果时,它不会凝胶化.
B)使用弹性传播方法,您将如何改变给定神经元的偏差？或者使用弹性传播训练在NN中没有偏差或阈值？
C)如果有两个或更多输出神经元,你如何传播总误差？每个输出神经元值是否会发生总误差*神经元重量？
谢谢
met*_*urg -1
其他几点不是100%确定，但我现在可以回答B：
B) 偏差根据偏导数的方向而不是幅度进行更新。如果连续迭代的方向保持不变，则权重更新的大小会增加。振荡方向将减少更新的大小。 http://nopr.niscair.res.in/bitstream/123456789/8460/1/IJEMS%2012(5)%20434-442.pdf