Faster-RCNN，我们为什么不只使用RPN进行检测？

Question

众所周知，faster-RCNN有两个主要部分：一个是区域提议网络（RPN），另一个是fast-RCNN。

我的问题是，既然区域提议网络（RPN）可以输出类别分数和边界框并且是可训练的，为什么我们需要 Fast-RCNN？

我是否认为 RPN 足以进行检测（红色圆圈），而 Fast-RCNN 现在变得多余（蓝色圆圈）？

Answer 1

简短回答：不，它们不是多余的。R-CNN 文章及其变体普及了我们过去所说的级联的使用。那时对于检测，由于互补能力，使用结构上通常非常相似的不同检测器来进行检测是相当普遍的。

如果检测是部分正交的，则可以沿途消除误报。

此外，根据定义，R-CNN 的两个部分具有不同的作用，第一个用于从背景中区分对象，第二个用于从它们自身（以及从背景中）区分细粒度的对象类别。

但是，如果只有 1 个类与背景相比，您是对的，您可以仅使用 RPN 部分进行检测，但即使在这种情况下，链接两个不同的分类器的结果可能会更好（或者看不到例如这篇文章）

PS：我回答是因为我想但是这个问题绝对不适合stackoverflow