我使用 HuggingFace 的 Transformers 库来构建基于 BART 和 T5的序列到序列模型。我仔细阅读了文档和研究论文,但我找不到解码器 (decoder_input_ids) 的输入应该是序列到序列任务的内容。
两种模型(BART 和 T5)的解码器输入应该与 lm_labels(LM 头的输出)相同还是应该与 input_ids(编码器的输入)相同?
nlp huggingface-transformers
huggingface-transformers ×1
nlp ×1