我正在 python 中进行文本分类,我想在生产环境中使用它来对新文档进行预测。我正在使用 TfidfVectorizer 来构建 bagofWord。
我在做:
X_train = vectorizer.fit_transform(clean_documents_for_train, classLabel).toarray()
Run Code Online (Sandbox Code Playgroud)
然后我进行交叉验证并使用 SVM 构建模型。之后我保存模型。
为了对我的测试数据进行预测,我在另一个脚本中加载该模型,其中我有相同的 TfidfVectorizer,并且我知道我无法对测试数据进行 fit_transform 。我要做:
X_test = vectorizer.transform(clean_test_documents, classLabel).toarray()
Run Code Online (Sandbox Code Playgroud)
但这是不可能的,因为我必须先适应。我知道有办法。我可以加载我的训练数据并fit_transform像构建模型期间那样执行,但我的训练数据非常大,每次我想要预测时我都无法做到这一点。所以我的问题是: