火车损失和火车错误有什么区别？

Question

我的一位教授给了我一个小脚本,用来在每个学习时代之后可视化他的神经网络的演变.这是3个值的图:火车损失,列车错误和测试错误.

前两个有什么区别？

Answer 1

训练损失：您要最小化的目标函数的值。该值可以是正数或负数，具体取决于特定的目标函数。

训练错误：人类可解释的模型性能指标。通常意味着模型不正确的训练示例的百分比。这始终是介于 0 和 1 之间的值。

Answer 2

要了解错误和损失之间的区别，您需要了解您的神经网络是如何学习的。为了能够学习，必须存在一个连续的可微损失函数，以便使用反向传播算法。所以损失值就是这个函数的一个值。有时这种损失正是您想要最小化的（例如，在回归案例中模型与真实函数之间的距离），但有时您的误差度量不是连续的或无法区分它，然后您必须引入另一种不同的损失功能。一个很好的例子是二元分类任务，其中精度误差不可微。您通常使用交叉熵或铰链损失来提高准确性。在这种情况下，您的错误将是1 - accuracy 并且损失将是例如交叉熵的值。