scikit-learn 中交叉验证的一种标准错误规则

Question

我正在尝试使用 grisSearchCV 在 scikit-learn 中拟合一些模型，并且我想使用“一个标准错误”规则来选择最佳模型，即从分数在 1 以内的模型子集中选择最简约的模型最好成绩的标准误差。有没有办法做到这一点？

Answer 1

您可以使用以下方法计算验证分数平均值的标准误差：

from scipy.stats import sem

然后访问grid_scores_拟合GridSearchCV对象的属性。此属性在 scikit-learn 的 master 分支中已更改，因此请使用交互式 shell 来检查其结构。

至于选择最简约的模型，模型的模型参数并不总是具有自由度解释。参数的含义通常是特定于模型的，并且没有高级元数据来解释它们的“简约性”。您可能必须根据具体情况对每个模型类的解释进行编码。