TfidfVectorizer stop_words参数不起作用？

Question

我有一段简单的代码,我正在尝试将其用作训练模型的基础.我试图从矢量化器中删除一个停用词列表,但似乎它不起作用.

或者也许是我,我并没有把它传递给它.

下面是我的代码,如果你安装了sklearn,你可以直接复制粘贴并运行它.

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import GaussianNB

l_stop_words = ['is', 'me', 'i']
print type(l_stop_words)

tfvect = TfidfVectorizer(analyzer='word', token_pattern='[a-zA-Z.0-9+#-/]+[^.]', stop_words=l_stop_words)
tfvect2 = TfidfVectorizer(analyzer='word', token_pattern='[a-zA-Z.0-9+#-/]+[^.]')

corpus = [
     'I know SQL and Java.',
     'I like C# and NoSQL. SQL is fun also.',
     'Teach me ASP.NET and Javascript.',
     'C++ sounds cool and PL/SQL is amazing.']

X = tfvect.fit_transform(corpus)
Y = ['java developer', 'C# developer', 'web developer', 'C++ developer']

X2 = tfvect2.fit_transform(corpus)

print len(tfvect.get_feature_names()), tfvect.get_feature_names()
print len(tfvect2.get_feature_names()), tfvect2.get_feature_names()

当两个特征向量相同时(下面是我的输出),您将看到.

<type 'list'>
20 [u'also', u'amazing', u'and ', u'asp.net ', u'c# ', u'c++ ', u'cool ', u'fun ', u'i ', u'is ', u'java', u'javascript', u'know ', u'like ', u'me ', u'nosql. ', u'pl/sql ', u'sounds ', u'sql ', u'teach ']
20 [u'also', u'amazing', u'and ', u'asp.net ', u'c# ', u'c++ ', u'cool ', u'fun ', u'i ', u'is ', u'java', u'javascript', u'know ', u'like ', u'me ', u'nosql. ', u'pl/sql ', u'sounds ', u'sql ', u'teach ']

任何寻求解决方案的帮助表示赞赏!

Answer 1

请注意,除了每个句子的最后一个单词之外,每个单词后面的输出要素都有一个空格.

它可以通过改变正则表达式来修复

'[a-zA-Z.0-9+#-/]*[^.\s]'

那么输出就是

17 ['also', 'amazing', 'and', 'asp.net', 'c#', 'c++', 'cool', 'fun', 'java', 'javascript', 'know', 'like', 'nosql', 'pl/sql', 'sounds', 'sql', 'teach']
20 ['also', 'amazing', 'and', 'asp.net', 'c#', 'c++', 'cool', 'fun', 'i', 'is', 'java', 'javascript', 'know', 'like', 'me', 'nosql', 'pl/sql', 'sounds', 'sql', 'teach']

编辑#1

上述正则表达式可能匹配单个字符不在的字符集[a-zA-Z.0-9+#-/],例如!.

'[a-zA-Z0-9#-/]*[a-zA-Z0-9#--/]'

可能更符合原始正则表达式的目的.

(可以省略.和+,[a-zA-Z.0-9+#-/]因为它们在范围内#-/)

编辑#2

感谢评论,我意识到我误解了你的目的.其实你只是想匹配.,+,#,-,/,但#-\将是一个范围.所以你需要使用反斜杠来逃避-.

'[a-zA-Z.0-9+#\-/]*[a-zA-Z0-9+#\-/]'