如何使用huggingface T5模型测试翻译任务？

Question

我看到存在 T5model 的两个配置 - T5Model和TFT5WithLMHeadModel。我想测试这个翻译任务（例如 en-de），因为它们在 google 的原始 repo 中显示。有没有办法可以使用这个模型从拥抱脸来测试翻译任务。我在文档方面没有看到任何与此相关的示例，并且想知道如何提供输入并获得结果。

任何帮助表示赞赏

Answer 1

您可以使用T5ForConditionalGeneration来翻译您的文本...

!pip install transformers

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('t5-small')

model = T5ForConditionalGeneration.from_pretrained('t5-small', return_dict=True)

input = "My name is Azeem and I live in India"

# You can also use "translate English to French" and "translate English to Romanian"
input_ids = tokenizer("translate English to German: "+input, return_tensors="pt").input_ids  # Batch size 1

outputs = model.generate(input_ids)

decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(decoded)

截至今天，Transformers不支持T5WithLMHeadModel。