小编dat*_*ger的帖子

生成给定文本的所有下一个可能单词的概率

我有以下代码

import transformers
from transformers import pipeline

# Load the language model pipeline
model = pipeline("text-generation", model="gpt2")

# Input sentence for generating next word predictions
input_sentence = "I enjoy walking in the"
Run Code Online (Sandbox Code Playgroud)

我只想在给定输入句子的情况下生成下一个单词,但我想查看所有可能的下一个单词及其概率的列表。任何其他LLM都可以使用,我以gpt2为例。

在代码中,我想仅为下一个单词选择前 500 个单词或前 1000 个单词建议以及每个建议单词的概率,我该怎么做?

text pytorch huggingface-transformers gpt-2

7
推荐指数
2
解决办法
2913
查看次数

标签 统计

gpt-2 ×1

huggingface-transformers ×1

pytorch ×1

text ×1