功能计数不匹配

use*_*471 2 python machine-learning scikit-learn

我正在使用scikit做一个简单的分类任务.我有一个测试和训练数据集,它们的形状如下:train =(1000,69917)和test =(1073,49429).当我做的事情:

clf.fit(X_train, Y_train)
predicted = clf.predict(X_test)
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

ValueError: X has 49429 features per sample; expecting 69917
Run Code Online (Sandbox Code Playgroud)

YS-*_*S-L 6

由于X_train用于训练模型,在预测阶段期间模型将期望X_test具有完全相同的特征尺寸(即,列数).

您提到过X_train并X_test使用CountVectorizer生成.这个问题的一个可能原因是您调用fit(或fit_transform)两次,产生两种不同的转换.为防止这种情况发生,请确保只有一次呼叫fit:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer()
X_train = vec.fit_transform(X_train_raw)
X_test = vec.transform(X_test_raw) # Not fit_transform!
Run Code Online (Sandbox Code Playgroud)

这样,将使用从训练数据中学习的完全相同的词汇集来变换测试数据.