为什么验证损失和准确性波动如此之大？

Question

我目前正在训练 CNN 来检测一个人是否戴口罩。不幸的是，我不明白为什么我的验证损失如此之高。正如我注意到的，我正在验证的数据是在类之后排序的（这是网络的输出）。这对我的验证准确性和损失有影响吗？我使用计算机视觉测试了该模型，效果非常好，但验证损失和准确性看起来仍然非常错误。其原因何在？

Answer 1

从直观的角度来看，这种现象可能是由以下几个因素造成的：

1. 您可能使用非常大的批量大小（> = 128），这可能会导致这些波动，因为如果批量大小太高，收敛可能会受到负面影响。有几篇论文研究了这一现象。您可能会遇到这种情况，也可能不会。
2. 您的验证集可能太小。当验证集太小时（数量上，不一定是训练与验证之间的百分比分配），我经历了这样的波动。在这种情况下，一个时期后权重的变化对验证损失有更明显的影响（并且在很大程度上自动对验证准确性产生影响）。

在我看来，根据我的经验，如果您考虑/检查您的模型在现实生活中运行良好，您可以决定仅训练 50 个时期，因为您可以从图表中看到它是最佳截止点，随着该点之后波动加剧，并且可能会观察到小的过拟合现象。