小编mbr*_*cky的帖子

Spacy 'train' 命令使用命令行选项 --gpu 0，允许在使用 GPU 训练和不使用 GPU 训练（仅使用 CPU）之间进行“最后一刻”选择。

但是，使用https://spacy.io/usage/training#quickstart在 GPU 和 CPU 之间进行选择会导致（基本）配置存在重大差异。就我而言（处理 NER），我有两个不同的管道：

• 对于 CPU： pipeline = [" tok2vec ","ner"]
• 对于 GPU：管道 = [“变压器”，“ner”]

（具有非常不同的以下组件设置）。

由于我的 GPU 只有 6GB 内存，所以我很快就用完了 GPU 内存 - 无法使用它。但是当我切换到仅使用 CPU 时，两个管道之间的训练行为有很大不同：

[“tok2vec”，“ner”] 管道几乎在单核上运行，在几个小时内训练我的模型（8,000 个训练，2000 个开发/验证文档）。明显比 Spacy 2 快（即使使用 GPU），尽管有时会使用大量内存（高达 30G）。

["transformer","ner"] 管道爆炸性地使用多达 20 个核心（在 40 个逻辑核心的机器上），因此我希望它能够快速运行。但它似乎会永远运行。在一个小时内，我只完成了第一个“纪元”，然后（在下一个纪元）它崩溃了（见下文）。由于我的数据（每个批处理 100 个“文档”的 DocBin 文件）是相同的，因此下面的崩溃（无序 B/I 标记）很难解释。

我的主要问题是为什么针对 GPU 和 CPU 时的管道不同？如果以 GPU 为目标，向量在哪里？

碰撞： ...

 File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 98, in …