Scikit-learn：在 GridSearchCV 中评分

Question

似乎GridSearchCVscikit-learn 收集其（内部）交叉验证折叠的分数，然后对所有折叠的分数求平均值。我想知道这背后的理由。乍一看，收集其交叉验证折叠的预测，然后将所选评分指标应用于所有折叠的预测似乎更灵活。

我偶然发现这一点的原因是我GridSearchCV在不平衡的数据集上使用cv=LeaveOneOut()和scoring='balanced_accuracy'（scikit-learn v0.20.dev0）。对每个遗漏的样本应用诸如平衡准确度（或召回率）之类的评分指标是没有意义的。相反，我想先收集所有预测，然后将我的评分指标应用于所有预测。或者这是否涉及推理错误？

更新：我通过创建一个自定义网格搜索类来解决它，GridSearchCV不同之处在于首先从所有内部折叠中收集预测并应用一次评分指标。

Answer 1

GridSearchCV使用评分来决定在模型中设置哪些内部超参数。

如果您想估计“最佳”超参数的性能，则需要执行额外的交叉验证步骤。

请参阅http://scikit-learn.org/stable/auto_examples/model_selection/plot_nested_cross_validation_iris.html

LeaveOneOut编辑以更接近回答实际问题：对我来说，如果您想使用和，收集每次折叠的预测然后对它们进行评分似乎是合理的balanced_accuracy。我想你需要制作自己的网格搜索器才能做到这一点。你可以使用model_selection.ParameterGridandmodel_selection.KFold来实现这一点。