逻辑回归大边际分类器？

Question

据我所知,SVM中的大边际效应:

例如,让我们看看这张图片:

在SVM优化目标中,通过正则化项我们试图找到一组参数,其中(参数矢量)theta的范数很小.因此,我们必须找到小的向量theta,并且在该向量上的正例(p)的投影大(以补偿内积的小的θ向量).同时大p给我们很大的余量.在这个图像中,我们找到了理想的theta,并且有了它的大p(和大边距):

我的问题:

为什么逻辑回归不是大边际分类器？在LR中,我们以相同的方式最小化正则化项中的Theta向量.也许我不明白,如果是这样 - 纠正我.

我使用了Coursera ml课程中的图像和理论.

Answer 1

逻辑回归是一个大的边际损失。Lecun 在他的一篇或多篇关于基于能量的学习的论文中提到了这一点。

要看到 LR 确实会产生余量，查看 softmax 损失（相当于 LR）会更容易。

softmax损失中有两项：L(z)=z_{true} - log(\sum_i \exp(z_i))

这意味着示例与其真实决策边界的距离需要超过与所有决策边界的距离的对数和。

因为softmax函数是概率分布，所以log softmax最大可以为0，所以log softmax返回一个负值（即惩罚），随着softmax函数下真实类别的概率接近1，该负值接近0。