使用 spacy doc.noun_chunks 获取错误的名词块

Question

我使用 spacyen_core_web_trf和doc.noun_chunks来获取名词块。以前，它运行良好，我可以正确地获取名词块。但最近，从12月中旬左右开始。2021（我猜），我使用相同的方式，相同的脚本，但我无法正确获取名词块。例如，在以下脚本中：

import spacy
from spacy import displacy

nlp = spacy.load("en_core_web_trf")
test_sen = "a label on a box that ensures that the status of a parcel can be traced uniquely "
doc = nlp(test_sen)
# ---------------------get initial noun chunks---------------------
for chunks in doc.noun_chunks:
    print(chunks)
# displacy.serve(doc, style='dep')

我得到以下结果：

a label
a box
that
the status
a parcel

但是，根据依赖图（见下文），文本that（第一个）不应该是名词块，但它被打印为名词块。另外，根据此处对名词块的描述，它说Doc.noun_chunks: Yields base noun-phrase Span objects. 无论哪种情况，thethat都不会是所谓的noun chunk，但这里却被认定为名词词块，给我后面的处理带来了很大的麻烦。

有人提示如何修复它吗？谢谢！

Answer 1

差异可能是由于使用不同版本的en_core_web_trf. 每个次要的 spaCy 版本都有一个新的模型版本，因此有模型版本：v3.0.0、v3.1.0、v3.2.0。您可以使用 来查看当前安装的型号版本spacy validate。

如果您需要针对特定​​任务完全相同的注释，请在您的需求中指定确切的模型版本：

https://github.com/explosion/spacy-models/releases/download/en_core_web_trf-3.1.0/en_core_web_trf-3.1.0-py3-none-any.whl

我认为您看到的差异是由于 v3.2.0 模型中的更新改进了 POS 标签，这些标签使用细粒度标签和依赖项解析中的规则进行映射。一些名词块错误来自标记器/解析器错误，但这看起来像是正确的标记、解析和 POS。名词块的确切定义可能有所不同，但在我能找到的示例中（主要来自 CoNLL 2003 共享任务），像这样的关系代词被包含为名词块。