使用NLTK删除停用词

Question

我试图通过使用nltk工具包删除停用词来处理用户输入的文本,但是使用停用词删除时,会删除"and","或","not"等字样.我希望在禁用词删除过程之后出现这些单词,因为它们是稍后将文本作为查询处理所需的运算符.我不知道哪些是文本查询中可以成为运算符的单词,我还想从文本中删除不必要的单词.

Answer 1

有一个内置的禁用NLTK词汇表,由11种语言的2,400个停用词组成(Porter等),请参阅http://nltk.org/book/ch02.html

>>> from nltk import word_tokenize
>>> from nltk.corpus import stopwords
>>> stop = set(stopwords.words('english'))
>>> sentence = "this is a foo bar sentence"
>>> print([i for i in sentence.lower().split() if i not in stop])
['foo', 'bar', 'sentence']
>>> [i for i in word_tokenize(sentence.lower()) if i not in stop] 
['foo', 'bar', 'sentence']

我建议使用tf-idf来删除停用词,请参阅词干对术语频率的影响？

Answer 2

我建议你创建自己的操作词单列表,你从禁用词列表中取出.可以方便地减去集合,因此:

operators = set(('and', 'or', 'not'))
stop = set(stopwords...) - operators

然后,你可以简单地测试一个字in或not in一组不依赖于你的运营商是否停止字列表的一部分.然后,您可以稍后切换到另一个禁用词列表或添加运算符.

if word.lower() not in stop:
    # use word

Answer 3

@ alvas的答案可以完成这项任务,但可以更快地完成.假设你有documents:一个字符串列表.

from nltk.corpus import stopwords
from nltk.tokenize import wordpunct_tokenize

stop_words = set(stopwords.words('english'))
stop_words.update(['.', ',', '"', "'", '?', '!', ':', ';', '(', ')', '[', ']', '{', '}']) # remove it if you need punctuation 

for doc in documents:
    list_of_words = [i.lower() for i in wordpunct_tokenize(doc) if i.lower() not in stop_words]

请注意,由于这里您正在搜索集合(不在列表中),因此理论上速度 len(stop_words)/2快一些,如果您需要通过许多文档操作,则.

对于5000个大约300个单词的文档,我的例子为1.8秒,@ alvas为20秒.

PS在大多数情况下,您需要将文本划分为单词以执行其他使用tf-idf的分类任务.所以最有可能的是使用stemmer也会更好:

from nltk.stem.porter import PorterStemmer
porter = PorterStemmer()

并[porter.stem(i.lower()) for i in wordpunct_tokenize(doc) if i.lower() not in stop_words]在循环内部使用.

Answer 4

@alvas有一个很好的答案.但同样取决于任务的性质,例如在你的应用程序中你想要考虑所有conjunction例如和,或者,但是,是否,同时和所有determiner例如a,a,some,most,every,no考虑所有的停止词其他词性是合法的,那么你可能想看看这个使用词性标注集来丢弃单词的解决方案,检查表5.1:

import nltk

STOP_TYPES = ['DET', 'CNJ']

text = "some data here "
tokens = nltk.pos_tag(nltk.word_tokenize(text))
good_words = [w for w, wtype in tokens if wtype not in STOP_TYPES]

Answer 5

您可以将string.punctuation与内置的NLTK停用词列表结合使用：

from nltk.tokenize import word_tokenize, sent_tokenize
from nltk.corpus import stopwords
from string import punctuation

words = tokenize(text)
wordsWOStopwords = removeStopWords(words)

def tokenize(text):
        sents = sent_tokenize(text)
        return [word_tokenize(sent) for sent in sents]

def removeStopWords(words):
        customStopWords = set(stopwords.words('english')+list(punctuation))
        return [word for word in words if word not in customStopWords]

NLTK停用词完整列表