下面是分类器的一些代码。我使用 pickle 来保存和加载本页中指示的分类器。但是,当我加载它以使用它时,我无法使用CountVectorizer()和TfidfTransformer()将原始文本转换为分类器可以使用的向量。
我唯一能够让它工作的是在训练分类器后立即分析文本,如下所示。
import os
import sklearn
from sklearn.datasets import load_files
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import confusion_matrix
from sklearn.feature_extraction.text import CountVectorizer
import nltk
import pandas
import pickle
class Classifier:
def __init__(self):
self.moviedir = os.getcwd() + '/txt_sentoken'
def Training(self):
# loading all files.
self.movie = load_files(self.moviedir, shuffle=True)
# Split data into training and test sets
docs_train, docs_test, y_train, y_test = train_test_split(self.movie.data, self.movie.target,
test_size = …Run Code Online (Sandbox Code Playgroud)