sklearn cross_val_score的精度低于手动交叉验证

Question

我工作的一个文本分类的问题,我已经设置了像这样(我已经离开了为简洁的数据处理步骤,但他们会产生一种叫做数据帧data的柱子X和y):

import sklearn.model_selection as ms
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.ensemble import RandomForestClassifier

sim = Pipeline([('vec', TfidfVectorizer((analyzer="word", ngram_range=(1, 2))),
                ("rdf", RandomForestClassifier())])

现在我尝试通过对2/3的数据进行训练并在剩余的1/3上对其进行评分来验证此模型,如下所示:

train, test = ms.train_test_split(data, test_size = 0.33)
sim.fit(train.X, train.y)
sim.score(test.X, test.y)
# 0.533333333333

我想为三个不同的测试集做三次,但使用cross_val_score给我的结果要低得多.

ms.cross_val_score(sim, data.X, data.y)
# [ 0.29264069  0.36729223  0.22977941]

据我所知,该阵列中的每个分数都应该通过对2/3数据的训练产生,并使用该sim.score方法对剩余的1/3进行评分.那他们为什么都这么低？

Answer 1

我在写我的问题的过程中解决了这个问题,所以在这里:

默认行为cross_val_score是使用KFold或StratifiedKFold定义折叠.默认情况下,两者都有参数shuffle=False,因此不会从数据中随机抽取折叠:

import numpy as np
import sklearn.model_selection as ms

for i, j in ms.KFold().split(np.arange(9)):
    print("TRAIN:", i, "TEST:", j)
TRAIN: [3 4 5 6 7 8] TEST: [0 1 2]
TRAIN: [0 1 2 6 7 8] TEST: [3 4 5]
TRAIN: [0 1 2 3 4 5] TEST: [6 7 8]

我的原始数据是按标签排列的,所以我采用这种默认行为来预测很多我在培训数据中没有看到过的标签.如果我强制使用KFold(我正在进行分类,StratifiedKFold默认情况下也是如此),这就更加明显了:

ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold())
# array([ 0.05530776,  0.05709188,  0.025     ])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = False))
# array([ 0.2978355 ,  0.35924933,  0.27205882])
ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold(shuffle = True))
# array([ 0.51561106,  0.50579839,  0.51785714])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = True))
# array([ 0.52869565,  0.54423592,  0.55626715])

手工做事给了我更高的分数,因为train_test_split做同样的事情KFold(shuffle = True).