小编ama*_*net的帖子

保留所有空格作为标记

我有一个问题,即是否有办法在 spaCy 标记化中将单个空格作为独立标记保留。

例如,如果我跑:

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("This is easy.")
toks = [w.text for w in doc]
toks
Run Code Online (Sandbox Code Playgroud)

结果是

['This', 'is', 'easy', '.']
Run Code Online (Sandbox Code Playgroud)

相反,我想要类似的东西

['This', ' ', 'is', ' ', 'easy', '.']
Run Code Online (Sandbox Code Playgroud)

有没有一种简单的方法可以做到这一点?

python spacy

2
推荐指数
1
解决办法
1977
查看次数

标签 统计

python ×1

spacy ×1