小编Mar*_*ski的帖子

对于序列到序列的 Transformer 模型,decoder_input_ids 应该是什么?

我使用 HuggingFace 的 Transformers 库来构建基于 BART 和 T5的序列到序列模型。我仔细阅读了文档和研究论文,但我找不到解码器 (decoder_input_ids) 的输入应该是序列到序列任务的内容。

两种模型(BART 和 T5)的解码器输入应该与 lm_labels(LM 头的输出)相同还是应该与 input_ids(编码器的输入)相同?

nlp huggingface-transformers

5
推荐指数
1
解决办法
679
查看次数

标签 统计

huggingface-transformers ×1

nlp ×1