如何将现有的huggingface-transformers模型使用到spacy中？

Question

我来这里是想问你们是否可以将现有的经过训练的 Huggingface-transformers 模型与 spacy 一起使用。

我的第一个天真的尝试是通过加载它spacy.load('bert-base-uncased')，它不起作用，因为 spacy 需要一定的结构，这是可以理解的。

现在我试图弄清楚如何使用该spacy-transformers库来加载模型，创建 spacy 结构，并从那时起将其用作正常的 spacy 感知模型。

我不知道这是否可能，因为我找不到有关该主题的任何信息。我尝试阅读文档，但我发现的所有指南、示例和帖子都是从 spacy/en_core_web_sm 这样的 spacy 结构化模型开始的，但该模型最初是如何创建的？我相信有人必须用 spacy 重新训练一切。

我可以向你寻求帮助吗？

谢谢。

Answer 1

您要做的就是将 Transformer 组件添加到管道中，并将 HuggingFace 模型的名称作为参数提供给该组件。文档中对此进行了介绍，尽管人们确实很难找到它。重要的是要了解 Transformer 只是 spaCy 管道的一部分，并且您应该了解它们是如何组合在一起的。

要从文档中提取，请按照以下方式在配置中指定自定义模型：

[components.transformer.model]
@architectures = "spacy-transformers.TransformerModel.v3"
# XXX You can change the model name here
name = "bert-base-cased"
tokenizer_config = {"use_fast": true}

回到为什么需要了解 spaCy 的结构，了解在 spaCy 中 Transformer 只是功能的来源非常重要。如果你的 HuggingFace 模型有 NER 头或其他东西，它将无法工作。因此，如果您使用自定义模型，则需要在其之上训练其他组件，例如 NER。

另请注意，spaCy 有多种非 Transformers 内置模型。它们的训练速度非常快，并且在许多情况下将提供与变形金刚相当的性能；即使它们不那么准确，您也可以使用内置模型来配置管道，然后只需换入 Transformer。

我发现的所有指南、示例和帖子都是从像 spacy/en_core_web_sm 这样的 spacy 结构化模型开始的，但是该模型最初是如何创建的呢？

您看到快速入门了吗？预训练模型是使用与您从中获得的配置类似的配置创建的。