为什么我们在使用反向传播时需要使用 sigmoid 函数？

Question

为什么我们在计算权重时不能只使用阶跃函数，

weightChange = n * (t-o) * i

Where, n: learning rate;
t: target out;
o: actual out;
i: input

这适用于单层网络。我听说需要 sigmoid 来处理非线性问题，但为什么呢？

Answer 1

Sigmoid激活允许 [0,1] 之间的实数值形成平滑曲线。这样，就可以计算和调整误差，以便下次执行前馈时，它不仅会输出整数，还会输出 [0,1] 的预测。这样您就可以选择忽略哪些内容以及接受哪些内容。

你所描述的是一个二元神经元，这也是完全可以接受的。但是 S 形激活的神经元给你的是 [0,1] 的频谱