将句子转换器模型从 GPU 分离到 CPU

Question

我在 GPU 上训练了一个 SentenceTransformer 模型并保存了它。现在我想在另一台没有 GPU 的机器上使用它，但我找不到将它加载到 CPU 上的方法。

from sentence_transformers import SentenceTransformer

model_name = 'all-MiniLM-L6-v2'
model = SentenceTransformer(model_name, device='cuda')

Answer 1

将 device参数设置为cpu.

仅供参考：device将 pytorch 设备（如 cpu、cuda、cuda:0 等）作为值，默认设置为None，检查是否可以使用 GPU。

from sentence_transformers import SentenceTransformer
model_name = 'all-MiniLM-L6-v2'
model = SentenceTransformer(model_name, device='cpu')