我目前正在使用 NLP 库 Spacy 处理文本。然而,Spacy 并没有正确地对所有单词进行词形还原,因此我想扩展查找表。目前我正在将 Spacy 的常量查找表与我的扩展程序合并,然后覆盖 Spacy 的本机查找表。
然而,我有一种感觉,这种方法可能不是最好和最一致的方法。
问题:是否有另一种可能来更新 Spacy 中的查找表,例如更新或扩展功能?我已阅读文档,但找不到类似的内容。还是这种方法“很好”?
我当前方法的工作示例:
import spacy
nlp = spacy.load('de')
Spacy_lookup = spacy.lang.de.LOOKUP
New_lookup = {'AAA':'Anonyme Affen Allianz','BBB':'Berliner Bauern Bund','CCC':'Chaos Chaoten Club'}
Spacy_lookup.update(New_lookup)
spacy.lang.de.LOOKUP = Spacy_lookup
tagged = nlp("Die AAA besiegt die BBB und den CCC unverdient.")
[ print(each.lemma_) for each in tagged]
Die
Anonyme Affen Allianz
besiegen
der
Berliner Bauern Bund
und
der
Chaos Chaoten Club
unverdient
.
Run Code Online (Sandbox Code Playgroud)