为什么 GridSearchCV 模型结果与我手动调优的模型不同？

Question

这是我在这里的第一个问题，我希望我做对了，

我正在研究在 kaggle 上流行的泰坦尼克号数据集，如果你想检查数据科学框架：达到 99% 的准确度，这个 tutarial

第 5.2 部分，它教了如何网格搜索和调整超参数。在具体说明我的问题之前，让我与您分享相关代码；

这是使用 GridSearchCV 调整模型：

cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)
#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)

param_grid = {'criterion': ['gini', 'entropy'],
'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best
'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none
'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2
'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1
'max_features': [None, 'auto'], #max features to consider when performing split; default none or all
'random_state': [0] }

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)
tune_model.fit(data1[data1_x_bin], data1[Target])`

    tune_model.best_params_

result is: 

    {'criterion': 'gini',
     'max_depth': 4,
     'max_features': None,
     'min_samples_leaf': 5,
     'min_samples_split': 2,
     'random_state': 0,
     'splitter': 'best'}

并且根据代码，训练和测试准确度应该是这样的：

print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])

这个的输出： 0.8924916598172832 0.8767742588186237

出于好奇，我想用从 GridSearchCV 获得的参数制作自己的 DecisionTreeClassifier()，

dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0,  splitter ='best')

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target],return_train_score = True, cv  = cv_split)

相同的超参数，相同的交叉验证数据帧，不同的结果。为什么？

print(results['train_score'].mean(), results['test_score'].mean())

0.8387640449438202 0.8227611940298509

那是 tune_model 结果：

0.8924916598172832 0.8767742588186237

差别也不小。如果你问我，两个结果应该是一样的，

我不明白有什么不同？有什么不同所以结果不同？

我尝试使用 k-fold 而不是 shufflesplit 进行交叉验证，

在这两种情况下，我都尝试了不同的 random_state 值，也尝试了 random_state = None，

结果还是不一样。

有人可以解释一下区别吗？

编辑：顺便说一句，我还想检查测试样本结果：

dtree.fit(data1[data1_x_bin],data1[Target])
dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)

输出： (0.8295964125560538, 0.9033059266872216)

相同的模型（决策树分类器），相同的超参数，非常不同的结果

（显然它们不是相同的型号，但我不知道如何以及为什么）

Answer 1

更新

默认情况下，cross_validate使用估计器得分方法作为默认值来评估其性能（您可以通过指定 的scoringkw 参数来更改它cross validate）。该类的评分方法DecisionTreeClassifier使用准确性作为其评分指标。在 GridSearchCV 中roc_auc用作分数度量。在这两种情况下使用相同的分数度量会产生相同的分数。例如，如果 ist 的得分指标cross_validate更改为roc_auc您观察到的模型之间的得分差异就会消失。

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target], scoring = 'roc_auc' ... )

关于分数指标：

评分指标的选择决定了如何评估模型的性能。

想象一个模型应该预测交通灯是否是绿色的（交通灯是绿色 -> 1，交通灯不是绿色 -> 0）。该模型可能会犯两种类型的错误。要么它说交通灯是绿色的，尽管它不是绿色的（假阳性），要么它说交通灯不是绿色的，尽管它是绿色的（假阴性）。在这种情况下，假阴性会很丑陋，但其后果是可以忍受的（有人必须在红绿灯处等待比必要的时间更长的时间）。另一方面，误报将是灾难性的（有人通过红色交通灯，因为它被归类为绿色）。为了评估模型的性能，将选择一个分数度量，该分数度量对假阳性的权重高于假阴性（即，将它们分类为“更糟糕”的错误）。在这里，准确性是一个不合适的指标，因为假阴性和假阳性会同等程度地降低分数。例如，更适合作为分数度量的是precision。该指标将误报的权重设为 1，将误报的权重设为 0（误报的数量对模型的精度没有影响）。为了更好地概述什么是假阴性、假阳性、精确度、召回率、准确度等，请参见此处。F 分数（另一个分数指标）的 beta 参数可用于设置与假阴性相比应如何对假阳性进行加权（有关更详细的说明，请参阅此处）。有关分数的更多信息可以在此处roc_auc找到（它是根据混淆矩阵的不同统计数据计算得出的）。

总之，这意味着同一模型对于一个分数指标可以表现得很好，而对于另一个分数指标则表现不佳。在您描述的情况下，GridSearchCV 优化的决策树和您随后实例化的树是相同的模型。两者都会产生相同的准确度或相同的roc_auc分数。您使用哪个评分指标来比较不同模型在数据集上的性能取决于您认为对模型性能特别重要的标准。如果唯一的标准是有多少实例被正确分类，那么准确性可能是一个不错的选择。

旧想法（见评论）：

dtree您为( )指定了随机状态dtree = tree.DecisionTreeClassifier(random_state = 0 ...，但没有为 GridSearchCV 中使用的决策树指定随机状态。在那里使用相同的随机状态，让我知道这是否解决了问题。

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)