如何在带有短句的大型数据集中有效地使用spacy？

Question

我选择spacy来处理各种文本，因为与nltk相比，它具有lemmatation的性能。但是，当我处理数百万个短文本时，它总是消耗掉我所有的内存（32G）并崩溃了。没有它，仅需几分钟，而消耗的内存不足10G。

使用此方法有问题吗？有没有更好的解决方案来提高性能？谢谢！

def tokenizer(text):
    try:
        tokens = [ word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
        tokens = list(filter(lambda t: t.lower() not in stop_words, tokens))
        tokens = list(filter(lambda t: t not in punctuation, tokens))
        tokens = list(filter(lambda t: len(t) > 4, tokens))
        filtered_tokens = []
        for token in tokens:
            if re.search('[a-zA-Z]', token):
                filtered_tokens.append(token)

        spacy_parsed = nlp(' '.join(filtered_tokens))
        filtered_tokens = [token.lemma_ for token in spacy_parsed]
        return filtered_tokens
    except Exception as e:
        raise e

达拉斯并行计算

ddata = dd.from_pandas(res, npartitions=50)
def dask_tokenizer(df):
    df['text_token'] = df['text'].map(tokenizer)
    return df
%time res_final = ddata.map_partitions(dask_tokenizer).compute(get=get)

有关spaCy的信息

spaCy version      2.0.5          
Location           /opt/conda/lib/python3.6/site-packages/spacy
Platform           Linux-4.4.0-103-generic-x86_64-with-debian-stretch-sid
Python version     3.6.3          
Models             en, en_default 

Answer 1

您可以在杂乱中使用多线程来创建快速的令牌化和数据接收管道。

使用该nlp.pipe方法重写代码块和功能将如下所示：

import spacy
nlp = spacy.load('en')

docs = df['text'].tolist()

def token_filter(token):
    return not (token.is_punct | token.is_space | token.is_stop | len(token.text) <= 4)

filtered_tokens = []
for doc in nlp.pipe(docs):
    tokens = [token.lemma_ for token in doc if token_filter(token)]
    filtered_tokens.append(tokens)

这种方式将您所有的过滤都放到token_filter函数中，该函数接收一个spacy令牌，并且True仅当它不是标点，空格，停用词和4个或更少的字符时才返回。然后，在遍历每个文档中的每个标记时使用此函数，只有在满足所有这些条件的情况下，该标记才返回引理。然后，filtered_tokens是您的标记化文档的列表。

定制此管道的一些有用参考将是：

• 令牌属性
• 语言管道