如何防止收敛到CNN回归问题的均值解?

zhi*_*hai 5 neural-network deep-learning torch caffe

我正在训练一个 CNN 来预测手上的关节。问题是我的网络总是收敛到训练集的均值,对于不同的测试图像我只能得到相同的结果。你知道如何防止这种情况吗?

小智 1

我想你一定正在使用MSECriterion()?它是标准l2(最小平方误差)损失。虽然 CNN 尝试预测结果,但有多种模式可以使结果正确。l2损失的作用是它收敛到所有这些模式的平均值,因为这是它可以直观地获得惩罚较少的结果的最可行的方法。

由于像素空间中可能的解决方案的逐像素平均,基于 MSE 的解决方案显得过于平滑

要选择最佳的答案模式,您可以查看adversarial loss LINK。这种损失根据它所看到的数据认为现实的情况来选择最佳模式。

为了进一步说明,请看本文的图3:SRGAN