相关疑难解决方法(0)

我有这样一句话 "I like sitting in my new chair and _____ about life"：

我有一组特定的令牌，例如["watch", "run", "think", "apple", "light"]

我想计算每个标记作为该不完整句子中的下一个单词出现的概率。希望我应该知道 的概率"think"高于"apple"例如。

我正在使用 pytorch-transformers （特别是 GPT2LMHeadModel），一个可能的解决方案是评估每个标记的完整句子的分数，但是当要评估的标记数量约为 100 或 1000 时，计算时间开始太长了。

必须可以仅处理该句子一次，并以某种方式使用隐藏状态来计算标记集的概率，但我不知道该怎么做。

有任何想法吗？提前致谢

编辑：

实际代码如下所示（每次估计完整句子的概率）。对于每个句子，运行该score()方法大约需要 0.1 秒，如果我想评估数千个单词，则需要几个小时。

from pytorch_transformers import GPT2Tokenizer, GPT2LMHeadModel
import pandas as pd

model = GPT2LMHeadModel.from_pretrained("gpt2")
model.eval()
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")


def score(sentence):
    tokenize_input = tokenizer.tokenize(sentence)
    tensor_input = torch.tensor([tokenizer.convert_tokens_to_ids(tokenize_input)])
    loss = model(tensor_input, labels=tensor_input)
    return -loss[0].item()


candidates = ["watch", "run", "think", "apple", "light"]
sent_template = …