使用 spaCy Matcher 的简单示例不起作用

Question

我正在尝试使用 spaCy Matcher 工作获得以下简单示例：

import en_core_web_sm
from spacy.matcher import Matcher

nlp = en_core_web_sm.load()
matcher = Matcher(nlp.vocab)

pattern1 = [{'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}]
pattern2 = [{'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}, {'ORTH': '.'}, {'LIKE_NUM': True}]
pattern3 = [{'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}, {'IS_PUNCT': True}, {'IS_DIGIT': True}]

matcher.add('IP', None, pattern1, pattern2, pattern3)

doc = nlp(u'This is an IP address: 192.168.1.1')

matches = matcher(doc)

但是，没有任何模式匹配，此代码返回[]for matches。spaCy 示例代码中提供的简单“Hello World”示例工作正常。

我究竟做错了什么？

Answer 1

使用 时Matcher，请记住模式中的每个字典都代表一个单独的标记。这也意味着它找到的匹配项取决于 spaCy 如何标记您的文本。默认情况下，spaCy 的英语分词器会像这样拆分您的示例文本：

>>> doc = nlp("This is an IP address: 192.168.1.1")
>>> [t.text for t in doc]
['This', 'is', 'an', 'IP', 'address', ':', '192.168.1.1']

192.168.1.1保留一个令牌（客观地说，这可能是相当合理的——IP 地址可以被视为一个词）。因此，期望它的一部分是单个标记的匹配模式将不匹配。

为了改变这种行为，您可以使用额外的规则自定义标记器，该规则告诉 spaCy 在数字之间分割周期。但是，这也可能会产生其他意想不到的副作用。

因此，在您的情况下，更好的方法是使用可用作token.shape_属性的标记形状。形状是描述单个字符的令牌的字符串表示，以及它们是否包含数字、大写/小写字符和标点符号。IP 地址形状如下所示：

>>> ip_address = doc[6]
>>> ip_address.shape_
'ddd.ddd.d.d'

您可以只过滤您的文档并检查它token.shape_ == 'ddd.ddd.d.d'，或者将'SHAPE'用作匹配模式中的键（对于单个标记）来查找包含该形状标记的句子或短语。