如何使用拥抱面部转换器为翻译任务训练编码器-解码器模型？

Question

我想为翻译任务训练如下配置的编码器解码器模型。有人可以指导我如何为这样的模型设置训练管道吗？任何链接或代码片段将不胜感激理解。

from transformers import BertConfig, EncoderDecoderConfig, EncoderDecoderModel

# Initializing a BERT bert-base-uncased style configuration
config_encoder = BertConfig()
config_decoder = BertConfig()

config = EncoderDecoderConfig.from_encoder_decoder_configs(config_encoder, config_decoder)

# Initializing a Bert2Bert model from the bert-base-uncased style configurations
model = EncoderDecoderModel(config=config)

Answer 1

编码器-解码器模型的使用方式与 Transformers 中的任何其他模型相同。它接受批量标记化文本作为词汇索引（即，您需要一个适合您的序列到序列任务的标记生成器）。当您向模型提供输入 ( input_ids) 和所需输出 (decoder_input_ids和labels) 时，您将获得可以在训练期间优化的损失值。请注意，如果批次中的句子长度不同，您也需要进行屏蔽。这是文档的最小示例EncoderDecoderModel：

from transformers import EncoderDecoderModel, BertTokenizer
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = EncoderDecoderModel.from_encoder_decoder_pretrained(
    'bert-base-uncased', 'bert-base-uncased')
input_ids = torch.tensor(
    tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)).unsqueeze(0)
outputs = model(
    input_ids=input_ids, decoder_input_ids=input_ids, labels=input_ids, 
    return_dict=True)
loss = outputs.loss

如果您不想自己编写训练循环，则可以使用Transformers 中的数据集处理 ( DataCollatorForSeq2Seq) 和训练 ( ) 实用程序。Seq2SeqTrainer您可以按照GitHub 上的 Seq2Seq 示例进行操作。