深度学习中的训练损失和验证损失

Question

请您指导我如何解释以下结果？

1) 损失 < 验证损失 2) 损失 > 验证损失

似乎训练损失总是应该小于验证损失。但是，这两种情况在训练模型时都会发生。

Answer 1

真的是机器学习中的一个基本问题。

If validation loss >> training loss you can call it overfitting.
If validation loss  > training loss you can call it some overfitting.
If validation loss  < training loss you can call it some underfitting.
If validation loss << training loss you can call it underfitting.

您的目标是使验证损失尽可能低。一些过拟合几乎总是一件好事。最后重要的是：验证损失是否尽可能低。

这通常发生在训练损失相当低的时候。

还要检查如何防止过度拟合。

Answer 2

在机器学习和深度学习中基本上有三种情况

1) 欠拟合

这是唯一一个loss>validation_loss的情况，但只是轻微的，如果loss远高于validation_loss，请贴出你的代码和数据，让我们看看

2) 过拟合

损失<<验证损失

这意味着您的模型非常适合训练数据，但根本不适用于验证数据，换句话说，它不能正确地泛化到看不见的数据

3) 完美贴合

损失 == 验证损失

如果两个值最终大致相同，并且值正在收敛（绘制随时间的损失），那么您做对的可能性非常高

Answer 3

1）您的模型在训练数据上的表现比在未知验证数据上的表现更好。有点过度拟合是正常的，但需要使用 dropout 等技术来调节更高的拟合量，以确保泛化。

2) 您的模型在验证数据上表现更好。当您对训练数据使用增强时，可能会发生这种情况，与未修改的验证样本相比，这使得预测变得更加困难。当您的训练损失计算为 1 个时期的移动平均值，而验证损失是在同一时期的学习阶段之后计算时，也可能会发生这种情况。