我正在使用由4个输入神经元组成的神经网络,1个由20个神经元组成的隐藏层和7个神经元输出层.
我正在尝试将其训练为bcd到7段算法.我的数据被归一化0是-1,1是1.
当输出错误评估发生时,神经元饱和错误.如果所需的输出是1实际输出-1,则错误是1-(-1)= 2.
1
-1
1-(-1)= 2
当我乘以激活函数的导数时error*(1-output)*(1+output),误差变得几乎是0因为2*(1-(-1)*(1-1).
error*(1-output)*(1+output)
0
2*(1-(-1)*(1-1)
如何避免此饱和错误？
neural-network
neural-network ×1