能量函数和损失函数有什么区别？

Question

在A Tutorial on Energy Based Learning 一文中，我看到了两个定义：

• 能量函数E(X, Y)通过推理过程最小化：目标是找到 的这样的值Y，使得E(X, Y)取最小值。
• 损失函数是使用训练集衡量能量函数的质量。

我理解损失函数的含义（很好的例子是均方误差）。但是你能解释一下能量函数和损失函数有什么区别吗？你能给我举一个 ML 或 DL 中能量函数的例子吗？

Answer 1

简而言之，能量函数描述了您的问题。相比之下，损失函数只是 ML 算法用作输入的东西。这可能是相同的功能，但不一定如此。

物理学中一个系统的能量可能就是这个系统内部的运动。在 ML 上下文中，您可能希望通过调整参数来最小化移动。那么实现这一点的一种方法是使用能量函数作为损失函数并直接最小化该函数。在其他情况下，此函数可能不容易评估或区分，然后其他函数可能会用作 ML 算法的损失。与分类类似，您关心分类器的准确性，但您仍然使用 softmax 上的交叉熵作为损失函数而不是准确性。