SVM - 能量与损失与正则化与成本函数之间的差异

Question

我正在阅读基于能量学习的教程,我试图理解上面在SVM背景下所述的所有术语之间的区别.此链接总结了损失,成本和目标函数之间的差异.根据我的理解,

目标函数:我们想要最小化的东西.例如,||w||^2对于SVM.

损失函数:预测和标签之间的惩罚,也等同于正则化项.示例是SVM中的铰链损失函数.

成本函数:结合目标和损失函数的一般公式.

现在,第一个链接表明铰链函数max(0, m + E(W,Yi,Xi) - E(W,Y,X))即它是能量项的函数.这是否意味着SVM的能量函数是1 - y(wx + b)？能量函数是否是损失函数的一部分.损失+目标函数是成本函数的一部分吗？

对这4个术语的简明总结将极大地帮助我理解.另外,如果我的理解是错误的,请纠正我.这些术语听起来很混乱.谢谢 !

Answer 1

目标函数：我们想要最小化的东西。例如 ||w||^2 用于 SVM。

目标函数是——顾名思义——优化的目标。它可以是我们想要最小化（如成本函数）或最大化（如可能性）的东西。一般来说 - 衡量我们当前解决方案有多好的函数（通常通过返回一个实数）

损失函数：预测和标签之间的惩罚，也相当于正则化项。示例是 SVM 中的铰链损失函数。

首先，在任何意义上，损失都不等同于正则化。损失函数是模型和真相之间的惩罚。这可以是类条件分布与真实标签的预测，因此也可以是数据分布与经验样本等等。

正则化

正则化是一个术语，惩罚，度量，它应该是对过于复杂的模型的惩罚。在 ML 中，或者通常在处理估计器时的统计中，您总是尝试平衡两种误差来源 - 方差（来自过于复杂的模型、过度拟合）和偏差（来自过于简单的模型、糟糕的学习方法、欠拟合）。正则化是一种在优化过程中惩罚高方差模型以减少过度拟合的技术。换句话说 - 对于可以完美拟合训练集的技术，重要的是要有一个禁止它的度量，以保持泛化能力。

成本函数：结合目标函数和损失函数的通用公式。

成本函数只是一个最小化的目标函数。它可以由一些损失函数和正则化器的聚合组成。

现在，第一个链接表明铰链函数是 max(0, m + E(W,Yi,Xi) - E(W,Y,X))，即它是能量项的函数。这是否意味着 SVM 的能量函数是 1 - y(wx + b) ？能量函数是损失函数的一部分吗？损失+目标函数是成本函数的一部分？

铰链损失为max(0, 1 - y(<w,x> - b))。这里定义的不是真正的 SVM，而是一般的因子图，我强烈建议从基础开始学习 ML，而不是从高级技术开始。如果没有很好地理解 ML 的基础知识，就不可能理解本文。

显示带有 SVM 和命名约定的示例

C SUM_i=1^N max(0, 1 - y_i(<w, x_i> - b)) + ||w||^2

            \__________________________/    \_____/
                         loss            regularization
\_________________________________________________/
            cost / objective function