相关疑难解决方法(0)

是否可以更改 Spacy 分词器的分词规则?

默认情况下,(德语)spacy 分词器不会按斜线、下划线或星号分割,这正是我所需要的(因此“der/die”会生成单个标记)。

然而,它确实在括号上拆分,因此“dies(und)das”被拆分为 5 个标记。是否有一种(简单)方法告诉默认标记器也不在括号上拆分,括号两边都由字母括起来,没有空格?

为分词器定义的括号上的分割到底是如何定义的?

python regex token tokenize spacy

8
推荐指数
1
解决办法
2695
查看次数

标签 统计

python ×1

regex ×1

spacy ×1

token ×1

tokenize ×1