选择tensorflow对象检测API训练超参数

Question

我正在建立一个基于最近发布的tensorflow对象检测API的对象检测管道.我使用arXiv作为指导.我希望了解以下对我自己的数据集的培训.

1. 目前尚不清楚他们如何选择学习率计划以及如何根据可用于培训的GPU数量进行更改.根据可用于培训的GPU数量,培训费率计划如何变化？该文提到使用了9个GPU.如果我只想使用1个GPU,我应该如何改变训练率？

2. 使用Faster R-CNN 发布的Pascal VOC 样本培训配置文件的初始学习率= 0.0001.这比最初的Faster-RCNN论文中发布的版本低10倍.这是由于对GPU可用于培训的数量或由于不同原因的假设？

3. 当我从COCO检测检查点开始训练时,训练损失应该如何减少？看看tensorboard,我的数据集训练损失很低 - 每次迭代0.8到1.2之间(批量大小为1).下图显示了tensorboard的各种损失..这是预期的行为吗？
   

Answer 1

对于问题1和问题2:与原始论文相比,我们的实现与一些小细节不同,内部我们使用具有~10个GPU的异步SGD训练所有探测器.我们的学习率针对此设置进行了校准(如果您决定通过Cloud ML Engine进行训练,您也可以使用此设置).如果您使用其他设置,则必须进行一些超参数探索.对于单个GPU,单独保留学习速率可能不会影响性能,但是通过增加它可以获得更快的收敛.

对于问题3:训练损失不规律地减少,如果你随着时间的推移平滑了这些情节,你只能看到减少.此外,仅通过观察培训损失,很难明确说明您在评估指标方面做得如何.我建议随着时间的推移查看mAP图以及图像可视化,以真正了解您的模型是否已"解除".

希望这可以帮助.