SVM - 什么是功能边际？

Question

几何边界只是某个x(数据点)与高速公路之间的欧氏距离.

什么是功能边际的直观解释是什么？

注意:我意识到这里有一个类似的问题: 如何理解SVM中的功能边界？

然而,那里给出的答案解释了等式,但没有解释它的含义(正如我所理解的那样).

Answer 1

"几何边距就是某个x(数据点)与高速公路之间的欧氏距离."

我不认为这是几何边界的正确定义,我相信这让你感到困惑.几何边距只是功能边距的缩放版本.

您可以考虑功能裕度,就像测试功能一样,可以告诉您特定点是否正确分类.并且几何边距是由|| w ||缩放的功能边距

如果你检查公式:

您可以注意到,与标签无关,对于正确分类的点(例如sig(1*5)= 1和sig(-1*-5)= 1),结果将为正,否则为负.如果你通过|| w ||来缩放它 那么你将获得几何边距.

为什么几何边距存在？

那么为了最大化边距你需要更多只是标志,你需要有一个大小的概念,功能边际会给你一个数字,但没有参考,你无法分辨这个点是否真的很远或接近决策层.几何边界不仅告诉您该点是否被正确分类,而且该距离的大小以| w |为单位表示.

Answer 2

如果与超平面正交的向量 (w^T) 的大小始终具有恒定值，则函数余量表示预测的正确性和置信度。

根据正确性，功能裕度应该始终为正，因为如果 w x + b 为负，则 y 为 -1，如果 w x + b 为正，则 y 为 1。如果功能裕度为负，则应划分样本进错群了

通过置信度，函数余量可能由于两个原因而改变：1）样本（y_i 和 x_i）改变或 2）与超平面正交的向量（w^T）被缩放（通过缩放 w 和 b）。如果与超平面正交的向量（w^T）始终保持不变，无论其幅度有多大，我们都可以确定该点被分组到右侧的置信度。功能边距越大，我们就越有信心说该点被正确分类。

但是，如果定义功能边界时不保持与超平面正交的向量 (w^T) 的大小相同，那么我们定义了上述几何边界。功能边距通过 w 的大小归一化以获得训练示例的几何边距。在此约束中，几何边距的值仅来自样本，而不来自与超平面正交的向量 (w^T) 的缩放。

几何边距对于参数的重新缩放是不变的，这是几何边距和功能边距之间的唯一区别。

编辑：

函数边距的引入有两个作用：1）直觉几何边距的最大化和 2）将几何边距最大化问题转换为与超平面正交的向量幅度的最小化。

由于缩放参数 w 和 b 不会产生任何有意义的结果，并且参数的缩放方式与功能裕度相同，那么如果我们可以任意使||w|| 为 1（导致最大化几何边距），我们还可以重新调整参数以使其服从功能边距为 1（然后最小化 ||w||）。