当mAP不稳定时，什么时候应该停止对象检测模型训练？

Question

我正在SSD MobileNet使用Berkeley Deep Drive数据集中的900张图像重新训练，并评估该数据集中的100张图像。

问题是经过约24小时的训练后，totalloss似乎无法低于2.0：

而且相应的mAP分数非常不稳定：

实际上，我实际上已经尝试训练了48个小时，而TotoalLoss不能低于2.0，介于2.5到3.0之间。在此期间，mAP甚至更低。

因此，这是我的问题，考虑到我的情况（如您所见，我真的不需要任何“高精度”模型，我选择了900张图像进行训练，并且只想进行PoC模型训练/预测就可以了） ），我什么时候应该停止训练并获得合理执行的模型？

Answer 1

实际上，为了进行检测，您需要微调网络，因为您使用的是 SSD，所以已经有一些来源：

• https://gluon-cv.mxnet.io/build/examples_detection/finetune_detection.html（这个专门针对 SSD 型号，使用 mxnet，但您可以将其与 TF 一起使用）
• 您可以在这里观看非常精彩的微调介绍
• 只要您编写数据加载器，此存储库就有一个很好的微调选项，请在此处查看

一般来说，您的错误可以归因于许多因素，您正在使用的学习率、图像本身的特征（它们是否标准化？）如果您使用的 SSD 网络是使用标准化数据进行训练的，并且您没有标准化以重新训练那么你在学习时就会陷入困境。他们使用的学习率是多少？

从模型动物园我可以看到，对于SSD，有在COCO上训练的模型

以及在开放图像上训练的模型：

例如，如果您正在使用ssd_inception_v2_coco，则输入层中有 a truncated_normal_initializer，因此请考虑到这一点，并确保输入大小与您提供给模型的大小相同。

如果您还包含许多增强功能并考虑到我提到的其余内容，即使数据很少，您也可以获得非常好的检测，有关代码的更多详细信息将有助于找出问题所在。