默认情况下,(德语)spacy 分词器不会按斜线、下划线或星号分割,这正是我所需要的(因此“der/die”会生成单个标记)。
然而,它确实在括号上拆分,因此“dies(und)das”被拆分为 5 个标记。是否有一种(简单)方法告诉默认标记器也不在括号上拆分,括号两边都由字母括起来,没有空格?
为分词器定义的括号上的分割到底是如何定义的?
python regex token tokenize spacy
python ×1
regex ×1
spacy ×1
token ×1
tokenize ×1