下载变压器模型以供离线使用

Question

我有一个训练有素的变压器 NER 模型，我想在未连接到互联网的机器上使用它。加载此类模型时，当前它会将缓存文件下载到 .cache 文件夹。

要离线加载和运行模型，您需要将 .cache 文件夹中的文件复制到离线机器。但是，这些文件具有很长的非描述性名称，如果要使用多个模型，则很难识别正确的文件。对此有何想法？

模型文件示例

Answer 1

处理此问题的一种相对简单的方法是简单地“重命名”预训练模型，如该线程中所述。

从本质上讲，对于您尝试使用的任何模型，您所要做的就是这样：

from transformers import BertModel

model = BertModel.from_pretrained("bert-base-uncased")
model.save_pretrained("./my_named_bert")

该线程还详细介绍了本地模型文件夹的命名方式，请参阅 LysandreJik 的帖子：

您好，之所以这样命名是因为这是确保 S3 上的模型与缓存中的模型相同的一种干净的方式。该名称是根据 S3 上托管的文件的 etag 创建的。[...]