为什么在神经网络中将误差乘以S形导数？

Question

这是代码：

import numpy as np

# sigmoid function
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))

# input dataset
X = np.array([  [0,0,1],
                [0,1,1],
                [1,0,1],
                [1,1,1] ])

# output dataset            
y = np.array([[0,0,1,1]]).T

# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)

# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1

for iter in xrange(10000):

    # forward propagation
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))

    # how much did we miss?
    l1_error = y - l1

    # multiply how much we missed by the 
    # slope of the sigmoid at the values in l1
    l1_delta = l1_error * nonlin(l1,True)

    # update weights
    syn0 += np.dot(l0.T,l1_delta)

print "Output After Training:"
print l1

这是网站：http : //iamtrask.github.io/2015/07/12/basic-python-network/

代码的第36 l1 error行将乘以点上权重的输入导数。我不知道为什么要这样做，并且一直在花费数小时试图弄清楚。我刚刚得出的结论是，这是错误的，但是考虑到有多少人推荐并使用本教程作为学习神经网络的起点，这可能告诉我这是不对的。

他们在文章中说

再看一下S形照片！如果斜率确实很浅（接近0），则网络要么具有很高的值，要么具有非常低的值。这意味着网络对一种方式或另一种方式都非常有信心。但是，如果网络猜测到接近（x = 0，y = 0.5）的值，那么它就不会很有把握。

我似乎无法绕开为什么S型函数的输入的高低与置信度有关。当然，它有多高也没关系，因为如果预测的输出很低，那么它将是真正不自信的，不像他们所说的那样，应该相信它是高的。

当然，l1_error如果您想强调该错误，最好将其立方化？

考虑到这一点，这真是令人失望，直到看起来我终于找到了一种有前途的方法来真正直观地开始学习神经网络，但是我还是错了。如果您有一个开始学习的好地方，我真的很容易理解，那么将不胜感激。

Answer 1

看这张图片。如果S型函数给您的是HIGH或LOW值（非常可靠），则该值的导数为LOW。如果在最陡的斜率（0.5）处获得一个值，则该值的导数为HIGH。

当函数给我们一个不好的预测时，我们想将权重改变一个更大的数字，相反，如果预测是好的（高置信度），我们就不希望改变权重。