为什么权重向量与神经网络中的决策平面正交

Question

我是神经网络的初学者.我正在学习感知器.我的问题是为什么权重向量垂直于决策边界(超平面)？我提到了很多书,但都提到重量向量与决策边界垂直,但没有人说为什么？

任何人都可以给我一本书的解释或参考吗？

Answer 1

权重只是定义分离平面的系数.暂时忘掉神经元,只考虑N维平面的几何定义:

w1*x1 + w2*x2 + ... + wN*xN - w0 = 0

您也可以将其视为点积:

w*x - w0 = 0

其中w和x都是长度为N的向量.该等式适用于平面上的所有点.回想一下,我们可以将上面的等式乘以一个常数,它仍然保持不变,因此我们可以定义常量,使得向量w具有单位长度.现在,取出一张纸并画出你的x-y轴(x1并x2在上面的等式中).接下来,2D在原点附近画一条线(一个平面).w0只是从原点到平面的垂直距离,w是从原点沿垂直方向指向的单位矢量.如果你现在从原点到平面上的任何点绘制一个矢量,那么该矢量与单位矢量的点积w总是等于w0上面的等式,对吗？这只是平面的几何定义:定义平面垂直的单位矢量(w)和w0从原点到平面的距离().

现在我们的神经元只是代表与上述相同的平面,但我们只是略微区别地描述变量.我们将称为x"输入"的组成部分,即w"权重" 的组成部分,我们将距离w0称为偏差.这里的所有都是它的.

除了你的实际问题,我们并不关心飞机上的点.我们真的想知道飞机的哪一侧有一个点.虽然w*x - w0在平面上精确为零,但它将在平面的一侧具有正值,而在另一侧具有负值.这就是神经元激活功能的来源,但这超出了你的实际问题.

Answer 2

直观地,在二元问题中,权重向量指向'1'类的方向,而当指向远离权重向量时找到'0'类.因此,决策边界应垂直于权重向量绘制.

请参阅图像以获得简化示例:您的神经网络只有1个输入,因此具有1个权重.如果权重为-1(蓝色向量),那么所有负输入将变为正,因此整个负频谱将被分配给'1'类,而正频谱将被分配为'0'类.因此,2轴平面中的决策边界是穿过原点(红线)的垂直线.简单地说它是垂直于权重向量的线.

让我们通过几个值来讨论这个例子.如果all的总和inputs * weights大于0(默认阈值),感知器的输出为1级,否则如果输出小于0的阈值,则类为0.您的输入值为1.应用的权重为这个单输入是-1,因此1 * -1 = -1小于0.输入因此被分配为0级(注意:0级和1级可能刚刚被称为A类或B类,不要将它们与输入和重量混淆值).相反,如果输入为-1,则input * weightis -1 * -1 = 1,大于0,因此输入被分配给类1.如果您尝试每个输入值,那么您将看到此示例中的所有负值都具有大于0的输出. 0,所以它们都属于1级.所有正值的输出都小于0,因此将被归类为0级.绘制分隔所有正负输入值(红线)的线,你将看到这条线垂直于权重向量.

另请注意,权重向量仅用于修改输入以适合所需输出.没有重量矢量会发生什么？输入1将导致输出1,其大于阈值0,因此类为"1".

此页面上的第二个图像显示了具有2个输入和偏差的感知器.第一个输入与我的例子具有相同的权重,而第二个输入的权重为1.相应的权重向量与决策边界一起如图所示改变.由于增加了1的偏差,决策边界也被转换为右边界.

Answer 3

这是从更基本的线性代数/微积分的角度来看的一个观点：

平面的一般方程是 Ax + By + Cz = D（可以扩展到更高的维度）。可以从这个方程中提取法向量：[ABC]; 它是与平面上所有其他向量正交的向量。

现在如果我们有一个权重向量 [w1 w2 w3]，那么什么时候 w^T * x >= 0（得到正分类）和 w^T * x < 0（得到负分类）。WLOG，我们也可以做 w^T * x >= d。现在，你明白我要做什么了吗？

权重向量与第一部分的法向量相同。正如我们所知，这个法向量（和一个点）定义了一个平面：这正是决策边界。因此，因为法向量与平面正交，所以权向量与决策边界正交。