如何解释损失和准确性的增加

Question

我使用tensorflow运行深度学习模型(CNN).在这个时代,我已经多次观察到损失和准确性都有所增加,或两者都有所减少.我的理解是两者总是成反比关系的.什么可能是同时增加或减少的情况.

Answer 1

随着训练过程的进行,损失减少,除了由小批量梯度下降引入的一些波动和/或诸如丢失(引入随机噪声)的正则化技术.

如果损失减少,培训过程进展顺利.

相反,它是(验证我认为)准确性,它是衡量模型预测效果的标准.

如果模型正在学习,则准确度会提高.如果模型过度拟合,则精度会停止增加,甚至可能开始减小.

如果损失减少且精度下降,则您的模型过度拟合.

如果损失增加并且准确度增加也是因为​​你的正则化技术运行良好并且你正在应对过度拟合问题.只有当损失开始减少而精度继续增加时,才会出现这种情况.否则,如果损失不断增长,您的模型就会出现分歧,您应该寻找原因(通常您使用的学习率过高).

Answer 2

我认为评分最高的答案是不正确的。

我假设你在谈论交叉熵损失，这可以被认为是“惊喜”的衡量标准。

训练数据上同时增加/减少的损失和准确度并不能说明您的模型是否过度拟合。这只能通过比较验证数据与训练数据的损失/准确性来确定。

如果损失和准确度都在下降，则意味着您的模型对其正确预测变得更有信心，或者对其错误预测变得越来越不自信，或者两者兼而有之，从而减少了损失。然而，它总体上也做出了更多不正确的预测，因此准确性下降。如果两者都在增加，则反之亦然。这就是我们所能说的。

Answer 3

我想为所有目前正在努力进行模型训练的人添加一个可能的选择。

如果您的验证数据有点脏，您可能会遇到在训练开始时验证损失和准确性都很低，并且您训练网络的次数越多，准确性就会随着损失的增加而增加。之所以会发生这种情况，是因为它找到了脏数据中可能存在的异常值，并在那里得到了超高的损失。因此，当它正确猜测更多数据时，你的准确性会提高，但损失也会随之增加。