为什么Tensorflow对象检测禁用快速R-CNN的正则化

Question

在Tensorflow Object Detection示例配置文件中，所有Faster R-CNN配置文件都将正则化项禁用为

regularizer {
    l2_regularizer {
      weight: 0.0
    }
  }

我觉得这不合理，很可能会过时。有关此类设置的任何解释？谢谢。

Answer 1

“应用诸如 maxout 或 dropout 之类的强正则化来在该数据集上获得最佳结果。在本文中，我们不使用 maxout/dropout，只是通过设计简单地通过深而薄的架构来实施正则化，而不会分散对困难的关注但与更强的正则化相结合可能会改善结果，我们将在未来研究这一点。” [他等人。al，图像识别的深度残差学习]

我认为作者提到的正则化直接应用于RESNET架构中，它来自于夹在每个转换层和每个激活之间的批标准化层。虽然作者没有提及 L2 正则化的使用，但他们关于 maxout 和 dropout 的声明应该适用。BN 层具有在不施加显式惩罚的情况下对网络进行正则化的作用，因此不需要 L2 正则化。

也就是说，如果您想尝试更强的正则化，则可以选择。