Spacy nlp(text) 线程安全吗?

vin*_*vin 5 python spacy

下面的线程在 spacy 中安全吗?

nlp = spacy.load('en')
nlp(text)
Run Code Online (Sandbox Code Playgroud)

Omr*_*374 3

是的。有关更多信息,请参阅此线程(没有双关语……):https://github.com/explosion/spaCy/issues/172

nlp如果可能,请考虑调用nlp.pipe对 spaCy 管道的多线程调用,而不是对 的多线程调用。

for doc in nlp.pipe(texts, n_threads=16, batch_size=10000):
    analyse_text(doc)
Run Code Online (Sandbox Code Playgroud)

更多信息请参见:https ://explosion.ai/blog/multithreading-with-cython