如何从本地磁盘加载huggingface模型/资源？

Question

我位于防火墙后面，并且从我的服务器对外部世界的访问非常有限。我想从本地磁盘加载 Huggingface 模型/资源。

from sentence_transformers import SentenceTransformer
# initialize sentence transformer model

# How to load 'bert-base-nli-mean-tokens' from local disk?
model = SentenceTransformer('bert-base-nli-mean-tokens')
# create sentence embeddings
sentence_embeddings = model.encode(sentences)

我看到一些关于

加载预训练（）

等等。但是无法解决上述问题。欢迎任何建议。先感谢您。

Answer 1

首先，克隆您想要加载的模型git clone

在你的例子中：

git clone https://huggingface.co/sentence-transformers/bert-base-nli-mean-tokens

当然你可以从另一台电脑上下载并通过，以避免防火墙问题。

之后，只需将模型名称替换为刚刚下载的文件的路径：

from sentence_transformers import SentenceTransformer
# initialize sentence transformer model

# How to load 'bert-base-nli-mean-tokens' from local disk?
model = SentenceTransformer('/path/to/cloned/git/repo')
# create sentence embeddings
sentence_embeddings = model.encode(sentences)

旁注：正如这里提到的：

该模型已被弃用。请不要使用它，因为它会产生低质量的句子嵌入。您可以在这里找到推荐的句子嵌入模型：SBERT.net - 预训练模型