我有一个问题,即是否有办法在 spaCy 标记化中将单个空格作为独立标记保留。
例如,如果我跑:
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("This is easy.")
toks = [w.text for w in doc]
toks
Run Code Online (Sandbox Code Playgroud)
结果是
['This', 'is', 'easy', '.']
Run Code Online (Sandbox Code Playgroud)
相反,我想要类似的东西
['This', ' ', 'is', ' ', 'easy', '.']
Run Code Online (Sandbox Code Playgroud)
有没有一种简单的方法可以做到这一点?