对单个样本的训练数据过度拟合我的模型

Question

我试图将我的模型过度拟合仅包含单个样本的训练数据。训练准确度为 1.00。但是，当我预测由相同的单个训练输入样本组成的测试数据的输出时，结果不准确。该模型已训练 100 个 epoch，损失约为 1e-4。可能的错误来源有哪些？

Answer 1

正如您帖子的评论中所提到的，如果您不首先提供更多详细信息，则无法提供具体建议。

一般来说，过度拟合一小批（在您的情况下是一张图像）的方法本质上是提供三项健全性检查，即：

1. 反向传播正在发挥作用
2. 体重更新正在发挥作用
3. 学习率处于正确的数量级

正如 Andrej Karpathy 在斯坦福大学 CS231n 课程第 5 讲中所指出的那样—— “如果你不能在小批量上过度拟合，那么事情肯定会被破坏”。

根据您的描述，这意味着您的实施不正确。我首先要检查上面列出的三点。例如，通过选择几个不同的图像或 5 个图像（而不是一个）的 btach-size 来以某种方式改变你的测试。您还可以修改您的predict function，因为这肯定存在一些差异，因为您在训练期间得到零错误（因此验证？）。