尝试微调 NER 的 ReformerModelWithLMHead (google/reformer-enwik8) 时出错

Question

我正在尝试为 NER 微调 ReformerModelWithLMHead (google/reformer-enwik8)。我使用了与编码方法相同的填充序列长度 (max_length = max([len(string) for string in list_of_strings])) 以及 attention_masks。我收到了这个错误：

ValueError：如果训练，请确保 config.axis_pos_shape 因子：(128, 512) 乘以序列长度。得到 prod((128, 512)) != sequence_length: 2248. 您可能需要考虑将序列长度填充为 65536 或更改 config.axis_pos_shape。

• 当我将序列长度更改为 65536 时，我的 colab 会话因获取 65536 长度的所有输入而崩溃。
• 根据第二个选项（更改 config.axial_pos_shape），我无法更改它。

我想知道，是否有机会在微调模型的同时更改 config.axis_pos_shape？或者我在对reformer-enwik8的输入字符串进行编码时遗漏了什么？

谢谢！

问题更新：我尝试了以下方法：

1. 通过在模型实例化时提供参数：

模型=transformers.ReformerModelWithLMHead.from_pretrained("google/reformer-enwik8", num_labels=9, max_position_embeddings=1024,axis_pos_shape=[16,64],axis_pos_embds_dim=[32,96],hidden_​​size=128)

它给了我以下错误：

RuntimeError：在为 ReformerModelWithLMHead 加载 state_dict 时出错：reformer.embeddings.word_embeddings.weight 的大小不匹配：从检查点复制形状为 torch.Size([258, 1024]) 的参数，当前模型中的形状为 torch.Size （[258, 128]）。Reformer.embeddings.position_embeddings.weights.0 的尺寸不匹配：从检查点复制形状为 torch.Size([128, 1, 256]) 的参数，当前模型中的形状为 torch.Size([16, 1, 32] ）。

这是一个相当长的错误。

2. 然后我尝试使用此代码来更新配置：

模型 1 = Transformers.ReformerModelWithLMHead.from_pretrained('google/reformer-enwik8', num_labels = 9)

重塑轴向位置嵌入层以匹配所需的最大序列长度

model1.reformer.embeddings.position_embeddings.weights[1] = torch.nn.Parameter(model1.reformer.embeddings.position_embeddings.weights[1][0][:128])

更新配置文件以匹配自定义最大序列长度

model1.config.axial_pos_shape = 16,128
model1.config.max_position_embeddings = 16*128 #2048
model1.config.axial_pos_embds_dim= 32,96
model1.config.hidden_size = 128
output_model_path = "model"
model1.save_pretrained(output_model_path)

通过此实现，我收到此错误：

运行时错误：张量 (512) 的扩展大小必须与非单个维度 2 的现有大小 (128) 匹配。目标大小：[1, 128, 512, 768]。张量大小：[128, 768]

因为更新后的大小/形状与预训练模型的原始配置参数不匹配。原始参数为：axis_pos_shape = 128,512 max_position_embeddings = 128*512 #65536axis_pos_embds_dim= 256,768 hidden_​​size = 1024

这是我更改配置参数的正确方法还是我必须做其他事情？

是否有任何示例对 ReformerModelWithLMHead('google/reformer-enwik8') 模型进行了微调。

我的主要代码实现如下：

class REFORMER(torch.nn.Module):
def __init__(self):
    super(REFORMER, self).__init__()
    self.l1 = transformers.ReformerModelWithLMHead.from_pretrained("google/reformer-enwik8", num_labels=9)

def forward(self, input_ids, attention_masks, labels):
    output_1= self.l1(input_ids, attention_masks, labels = labels)
    return output_1


model = REFORMER()

def train(epoch):
    model.train()
    for _, data in enumerate(training_loader,0):
        ids = data['input_ids'][0]   # input_ids from encode method of the model https://huggingface.co/google/reformer-enwik8#:~:text=import%20torch%0A%0A%23%20Encoding-,def%20encode,-(list_of_strings%2C%20pad_token_id%3D0
        input_shape = ids.size()
        targets = data['tags']
        print("tags: ", targets, targets.size())
        least_common_mult_chunk_length = 65536 
        padding_length = least_common_mult_chunk_length - input_shape[-1] % least_common_mult_chunk_length
        #pad input 
        input_ids, inputs_embeds, attention_mask, position_ids, input_shape = _pad_to_mult_of_chunk_length(self=model.l1,
                input_ids=ids,
                inputs_embeds=None,
                attention_mask=None,
                position_ids=None,
                input_shape=input_shape,
                padding_length=padding_length,
                padded_seq_length=None,
                device=None,
            )
        outputs = model(input_ids, attention_mask, labels=targets) # sending inputs to the forward method
        print(outputs)
        loss = outputs.loss
        logits = outputs.logits
        if _%500==0:
           print(f'Epoch: {epoch}, Loss:  {loss}')

for epoch in range(1):
    train(epoch)

Answer 1

首先，您应该注意这google/reformer-enwik8不是一个经过适当训练的语言模型，并且您可能不会通过微调它获得像样的结果。enwik8 是一个压缩挑战，改革者作者正是出于这个目的使用了这个数据集：

为了验证 Reformer 确实可以在单核上安装大型模型并在长序列上快速训练，我们在 enwik8 和 imagenet64 上训练多达 20 层的大型 Reformer...

这也是他们没有训练子词分词器并在字符级别进行操作的原因。

您还应该注意，LMHead通常用于预测序列的下一个标记 (CLM)。您可能想要使用令牌分类头（即使用编码器 ReformerModel 并在顶部添加一个包含 9 个类的线性层+可能是一个 dropout 层）。

无论如何，如果您仍然想尝试一下，可以执行以下操作来减少改革器的内存占用google/reformer-enwik8：

1. 减少训练期间的哈希数：

from transformers import ReformerConfig, ReformerModel
conf = ReformerConfig.from_pretrained('google/reformer-enwik8')
conf.num_hashes = 2 # or maybe even to 1
model = transformers.ReformerModel.from_pretrained("google/reformer-enwik8", config =conf)

微调模型后，您可以再次增加哈希数以提高性能（比较 Reformer 论文的表 2）。

2. 替换轴向位置嵌入：

from transformers import ReformerConfig, ReformerModel
conf = ReformerConfig.from_pretrained('google/reformer-enwik8')
conf.axial_pos_embds = False 
model = transformers.ReformerModel.from_pretrained("google/reformer-enwik8", config =conf)

这将用可学习的位置嵌入（如 Bert 的位置嵌入）替换学习的轴向位置嵌入，并且不需要 65536 的完整序列长度。它们未经训练且随机初始化（即考虑更长的训练）。