Scikit-learn中KNN分类器中的网格搜索参数和交叉验证数据集

Question

我正在尝试使用SciKit-Learn执行我的第一个KNN分类器.我一直在关注用户指南和其他在线示例,但有一些我不确定的事情.对于这篇文章,我们使用以下内容

X =数据Y =目标

1)在我读过的机器学习页面的大多数介绍中,似乎说你想要一个训练集,一个验证集和一个测试集.根据我的理解,交叉验证允许您组合训练和验证集来训练模型,然后您应该在测试集上测试它以获得分数.但是,我在论文中看到,在很多情况下,您只需对整个数据集进行交叉验证,然后将CV分数报告为准确性.我理解在一个理想的世界中你会想要测试单独的数据,但如果这是合法的,我想在我的整个数据集上交叉验证并报告这些分数

2)开始这个过程

我将KNN分类器定义如下

knn = KNeighborsClassifier(algorithm = 'brute')

我使用搜索最好的n_neighbors

clf = GridSearchCV(knn, parameters, cv=5)

现在,如果我说

clf.fit(X,Y)

我可以使用检查最佳参数

clf.best_params_

然后我就能得分

clf.score(X,Y)

但是 - 据我所知,这还没有交叉验证模型,因为它只给出1分？

如果我看到clf.best_params_ = 14,我现在可以继续

knn2 = KNeighborsClassifier(n_neighbors = 14, algorithm='brute')
cross_val_score(knn2, X, Y, cv=5)

现在我知道数据已经过交叉验证,但我不知道使用clf.fit找到最佳参数是否合法,然后将cross_val_score与新的knn模型一起使用？

3)我理解这样做的"正确"方法如下

拆分为X_train,X_test,Y_train,Y_test,比例训练集 - >将转换应用于测试集

knn = KNeighborsClassifier(algorithm = 'brute')
clf = GridSearchCV(knn, parameters, cv=5)
clf.fit(X_train,Y_train)
clf.best_params_

然后我就能得分

clf.score(X_test,Y_test)

在这种情况下,使用最佳参数计算得分吗？

---

我希望这是有道理的.我一直试图尽可能多地找到我没有发布但我已经到了我认为更容易得到一些直接答案的地步.

在我的脑海中,我试图使用整个数据集获得一些交叉验证的分数,但也使用gridsearch(或类似的东西)来微调参数.

提前致谢

Answer 1

1. 是的,您可以在整个数据集上进行简历,但是我仍然建议您至少将数据分为2组,一组用于CV,另一组用于测试.

2. 该.score函数应该float根据文档返回单个值,该文档是给定X,Y 的得分best estimator(这是您从拟合中得到的最佳得分估计GridSearchCV)

3. 如果您看到最佳参数是14而不是是,您可以在模型中使用它,但如果您给它更多参数,则应设置所有参数.( - 我之所以这么说是因为你还没有给出你的参数列表)是的,再次检查你的简历是合理的,以防这个模型是否应该如此好.

希望能让事情更清晰:)

Answer 2

如果数据集很小，您可能没有足够的条件进行训练/测试拆分。人们通常仅根据交叉验证来估计模型的预测能力。在上面的代码中，当您拟合模型 ( clf.fit(X, y))时，GridSearchCV通过将训练集拆分为内部训练集 (80%) 和验证集 (20%)执行 5 倍交叉验证。

您可以通过 访问模型性能指标，包括验证分数clf.cv_results_。您想要查看的指标包括mean_test_score（在您的情况下，您应该为每个 1 分n_neighbor）。您可能还想打开“mean_train_score”以了解模型是否过度拟合。有关模型设置的示例代码，请参见下面的示例代码（注意 knn 是一种非参数 ML 模型，它对特征的尺度很敏感，因此人们经常使用 StandardScaler 对特征进行归一化）：

    pipe = Pipeline([
        ('sc', StandardScaler()),     
        ('knn', KNeighborsClassifier(algorithm='brute')) 
    ])
    params = {
        'knn__n_neighbors': [3, 5, 7, 9, 11] # usually odd numbers
    }
    clf = GridSearchCV(estimator=pipe,           
                      param_grid=params, 
                      cv=5,
                      return_train_score=True) # Turn on cv train scores
    clf.fit(X, y)

快速提示：样本数量的平方根通常是一个不错的选择，n_neighbor因此请确保将其包含在 GridSearchCV 中。希望这是有帮助的。