Ron*_*hen 5 machine-learning training-data neural-network
在开发神经网络时，通常将训练数据划分为训练数据集、测试数据集和保留数据集（许多人分别将这些数据集称为训练数据集、验证数据集和测试数据集。相同的东西，不同的名称）。许多人建议根据测试数据集中的性能选择超参数。我的问题是：为什么？为什么不最大化训练数据集中超参数的性能，并在我们通过测试数据集中的性能下降检测到过度拟合时停止训练超参数？由于训练通常大于测试，与测试数据集上的训练超参数相比，这不会产生更好的结果吗？
2016 年 7 月 6 日更新
术语发生变化，以匹配下面的评论。在本文中，数据集现在被称为“训练”、“验证”和“测试” 。我不使用测试数据集进行训练。我正在使用 GA 来优化超参数。在外部 GA 训练过程的每次迭代中，GA 都会选择一个新的超参数集，在训练数据集上进行训练，并在验证和测试数据集上进行评估。GA 调整超参数以最大限度地提高训练数据集中的准确性。当检测到网络过拟合（在验证数据集中）时，迭代内的网络训练将停止，而当检测到超参数过拟合时（再次在验证中），外部 GA 训练过程将停止。结果是针对训练数据集进行了伪优化的超参数。问题是：为什么许多来源（例如https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf，第 B.1 节）建议优化验证集上的超参数，而不是训练集上的超参数？引用 Srivasta、Hinton 等人（上面的链接）：“在验证集上调整超参数，以便产生最佳验证错误...... ”
原因是开发模型总是涉及调整其配置：例如，选择层数或层的大小（称为模型的超参数，以将它们与参数（网络\xe2）区分开来） \x80\x99s 权重）。您可以通过使用模型在验证数据上的性能作为反馈信号来进行此调整。本质上，这种调整是一种学习形式：在某些参数空间中搜索良好的配置。因此，根据模型在验证集上的性能调整模型的配置可能会很快导致验证集过度拟合，即使您的模型从未直接对其进行训练。
\n\n这种现象的核心是信息泄露的概念。每次根据验证集上的 model\xe2\x80\x99s 性能调整模型的超参数时，有关验证数据的一些信息都会泄漏到模型中。如果您仅针对一个参数执行此操作一次，那么将泄漏很少的信息，并且您的验证集将仍然可靠地评估模型。但是如果你重复这么多次\xe2\x80\x94运行一个实验，评估验证集，并修改你的模型作为结果\xe2\x80\x94那么你\xe2\x80\x99将泄漏越来越多的信息将验证集放入模型中。
\n\n最终，您\xe2\x80\x99 将得到一个在验证数据上人为地表现良好的模型，因为\xe2\x80\x99 就是您优化它的目的。您关心全新数据的性能，而不是验证数据，因此您需要使用完全不同的、前所未见的数据集来评估模型：测试数据集。您的模型不应该\xe2\x80\x99t有权访问有关测试集的任何信息，即使是间接的。如果模型的任何内容是根据测试集性能进行调整的，那么您的泛化度量就会有缺陷。
\n