有人可以向我解释如何在整个反向传播中更新偏见吗？
我读了不少书,但找不到偏见更新!
我知道偏差是1的额外输入,附加了一个重量(对于每个神经元).必须有一个公式.
谢谢,
@msw
最有趣的.谢谢,我认为有两个好点:1."如果省略偏差项,多层感知器的"通用近似"属性与最常用的隐藏层激活函数不成立.但Hornik(1993)证明了没有偏差的通用逼近性质的充分条件是激活函数的衍生物在原点处没有消失,这意味着利用通常的S形激活函数,可以使用固定的非零偏置项代替可训练的偏差.2.偏差项可以像其他权重一样学习."所以我要么增加'恒定权重',要么像所有其他权重一样使用梯度下降训练这个权重.
我理解对吗？
math artificial-intelligence machine-learning neural-network
期望神经网络多快近似z = y ^ 2 + x ^ 2函数？当我也将输入设为负数并且所有权重变得非常小时（如果使用2x40x1，* 10 ^ -16！）或全部变为相同的数字（例如，使用2x20x1时，-0.16和0.16）时，我的问题似乎会很难解决。我每个时代使用2000个输入示例。
但是，如果所有输入都为正，则似乎可以学习。这意味着什么？
您认为每个时期，架构和时期数应使用多少对输入，您认为呢？
我使用的是反向传播神经网络，没有带有1个隐藏层的偏置（我的输入都在-1和+1之间，并且期望的输出[0，1]）。
谢谢，