神经网络:为什么感知器规则仅适用于线性可分数据？

Question

我之前曾要求对线性可分数据进行解释.还在阅读Mitchell的机器学习书,我有点理解为什么感知器规则只适用于线性可分数据？

米切尔将感知器定义如下:

也就是说,如果加权输入的总和超过某个阈值,则y为1或-1.

现在,问题是确定一个权重向量,使得感知器为每个给定的训练样例产生正确的输出(1或-1).实现这一目标的一种方法是通过感知器规则:

学习可接受的权重向量的一种方法是从随机权重开始,然后迭代地将感知器应用于每个训练示例,每当错误分类示例时修改感知器权重.重复该过程,根据需要多次迭代训练样本,直到感知器正确地对所有训练样本进行分类.根据感知器训练规则在每个步骤修改权重,该规则根据规则修改与输入xi相关联的权重wi:

所以,我的问题是:为什么这只适用于线性可分的数据？谢谢.

Answer 1

由于点积w和x是的线性组合xs,而你,其实,使用超平面将数据分成2班a_1 x_1 + … + a_n x_n > 0

考虑一个2D例子:X = (x, y)和W = (a, b)则X * W = a*x + b*y.sgn如果参数大于0,则返回1,即,对于类#1 a*x + b*y > 0,它等于y > -a/b x(假设b!= 0).并且该等式是线性的并且将2D平面划分为2个部分.