为什么 Spacy 3 NER 对 GPU 和 CPU 使用不同的管道？

Question

Spacy 'train' 命令使用命令行选项 --gpu 0，允许在使用 GPU 训练和不使用 GPU 训练（仅使用 CPU）之间进行“最后一刻”选择。

但是，使用https://spacy.io/usage/training#quickstart在 GPU 和 CPU 之间进行选择会导致（基本）配置存在重大差异。就我而言（处理 NER），我有两个不同的管道：

• 对于 CPU： pipeline = [" tok2vec ","ner"]
• 对于 GPU：管道 = [“变压器”，“ner”]

（具有非常不同的以下组件设置）。

由于我的 GPU 只有 6GB 内存，所以我很快就用完了 GPU 内存 - 无法使用它。但是当我切换到仅使用 CPU 时，两个管道之间的训练行为有很大不同：

[“tok2vec”，“ner”] 管道几乎在单核上运行，在几个小时内训练我的模型（8,000 个训练，2000 个开发/验证文档）。明显比 Spacy 2 快（即使使用 GPU），尽管有时会使用大量内存（高达 30G）。

["transformer","ner"] 管道爆炸性地使用多达 20 个核心（在 40 个逻辑核心的机器上），因此我希望它能够快速运行。但它似乎会永远运行。在一个小时内，我只完成了第一个“纪元”，然后（在下一个纪元）它崩溃了（见下文）。由于我的数据（每个批处理 100 个“文档”的 DocBin 文件）是相同的，因此下面的崩溃（无序 B/I 标记）很难解释。

我的主要问题是为什么针对 GPU 和 CPU 时的管道不同？如果以 GPU 为目标，向量在哪里？

碰撞： ...

 File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 98, in train
    for batch, info, is_best_checkpoint in training_step_iterator:
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 194, in train_while_improving
    nlp.update(
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\language.py", line 1107, in update
    proc.update(examples, sgd=None, losses=losses, **component_cfg[name])
  File "spacy\pipeline\transition_parser.pyx", line 350, in spacy.pipeline.transition_parser.Parser.update
  File "spacy\pipeline\transition_parser.pyx", line 604, in spacy.pipeline.transition_parser.Parser._init_gold_batch
  File "spacy\pipeline\_parser_internals\ner.pyx", line 273, in spacy.pipeline._parser_internals.ner.BiluoPushDown.init_gold
  File "spacy\pipeline\_parser_internals\ner.pyx", line 53, in spacy.pipeline._parser_internals.ner.BiluoGold.__init__
  File "spacy\pipeline\_parser_internals\ner.pyx", line 69, in spacy.pipeline._parser_internals.ner.create_gold_state
  File "spacy\training\example.pyx", line 240, in spacy.training.example.Example.get_aligned_ner
  File "spacy\tokens\doc.pyx", line 698, in spacy.tokens.doc.Doc.ents.__get__
ValueError: [E093] token.ent_iob values make invalid sequence: I without B

Answer 1

基本上，如果您在快速入门中选择“GPU”，则 spaCy 会使用 Transformers 管道，该管道在架构上与 CPU 管道有很大不同。快速入门中的设置是推荐的基本设置，而 spaCy 实际能够使用的设置要广泛得多（训练中的 -gpu 标志就是其中之一）。

Transformer 使用注意力来生成上下文嵌入，因此不存在单词的单个嵌入的真正概念。这些上下文嵌入通常比词嵌入更好。因此，spaCy Transformers 模型不包含词嵌入。变形金刚的缺点是它们需要非常强大的硬件（包括 GPU）才能运行。如果您确实拥有强大的 GPU，那么使用 Transformer 通常是有意义的。

CPU 管道使用的模型不需要专门的硬件，并且通常运行速度要快得多，同时仍然为许多应用程序提供足够的准确性。如果您没有 GPU，它们基本上也是您唯一的选择。如果您确实有 GPU，则可以使用它来训练非 Transformers 管道，并且它可能会提供加速，但好处通常并不显着。因此，spaCy 支持在 GPU 上训练非 Transformers 模型，但如果您有 GPU，通常最好使用 Transformers。