标记化和细分之间的区别

Question

NLP 中的标记化和分段有什么区别？我搜索了它们，但没有真正发现任何差异。

Answer 1

简短回答：所有标记化都是分段，但并非所有分段都是标记化。

长答案：
虽然分段是分割输入文本的更通用概念，但标记化是分段的一种类型，并且它是基于明确定义的标准进行的。
例如 - 在假设的场景中，如果所有输入句子都是两个子句子的复合句子，那么将它们分成两个独立的句子可以称为分段（但不是标记化）。
标记化是一种分段形式，它基于语义标准或使用标记字典来执行 - 例如单词或子词标记化，主要目的是为它们分配标记 ID 以供下游处理。