Google Colab 使用 Transformers 和 PyTorch 微调 BERT Base Case 时出现间歇性“RuntimeError: CUDA out of memory”错误

Question

我正在运行以下代码来微调 Google Colab 中的 BERT Base Cased 模型。有时代码第一次运行良好，没有错误。其他时候，相同的代码使用相同的数据，会导致“CUDA 内存不足”错误。以前，重新启动运行时或退出笔记本，返回笔记本，执行工厂运行时重启，然后重新运行代码可以成功运行，不会出现错误。刚才，我已经尝试了重新启动并重试 5 次，但每次都出现错误。

问题似乎不是我正在使用的数据和代码的组合，因为有时它可以正常工作而不会出现错误。所以这似乎与 Google Colab 运行时有关。

有谁知道为什么会发生这种情况，为什么它是间歇性的，和/或我能做些什么？

我正在使用 Huggingface 的transformers库和PyTorch.

导致错误的代码单元格：

# train the model
%%time

history = defaultdict(list)

for epoch in range(EPOCHS):

  print(f'Epoch {epoch + 1}/{EPOCHS}')
  print('-' * 10)

  train_acc, train_loss = train_epoch(
    model,
    train_data_loader,    
    loss_fn, 
    optimizer, 
    device, 
    scheduler, 
    train_set_length
  )

  print(f'Train loss {train_loss} accuracy {train_acc}')

  dev_acc, dev_loss = eval_model(
    model,
    dev_data_loader,
    loss_fn, 
    device, 
    evaluation_set_length
  )

  print(f'Dev   loss {dev_loss} accuracy {dev_acc}')

  history['train_acc'].append(train_acc)
  history['train_loss'].append(train_loss)
  history['dev_acc'].append(dev_acc)
  history['dev_loss'].append(dev_loss)

  model_filename = f'model_{epoch}_state.bin'
  torch.save(model.state_dict(), model_filename)

完整错误：

RuntimeError                              Traceback (most recent call last)
<ipython-input-29-a13774d7aa75> in <module>()
----> 1 get_ipython().run_cell_magic('time', '', "\nhistory = defaultdict(list)\n\nfor epoch in range(EPOCHS):\n\n  print(f'Epoch {epoch + 1}/{EPOCHS}')\n  print('-' * 10)\n\n  train_acc, train_loss = train_epoch(\n    model,\n    train_data_loader,    \n    loss_fn, \n    optimizer, \n    device, \n    scheduler, \n    train_set_length\n  )\n\n  print(f'Train loss {train_loss} accuracy {train_acc}')\n\n  dev_acc, dev_loss = eval_model(\n    model,\n    dev_data_loader,\n    loss_fn, \n    device, \n    evaluation_set_length\n  )\n\n  print(f'Dev   loss {dev_loss} accuracy {dev_acc}')\n\n  history['train_acc'].append(train_acc)\n  history['train_loss'].append(train_loss)\n  history['dev_acc'].append(dev_acc)\n  history['dev_loss'].append(dev_loss)\n  \n  model_filename = f'model_{epoch}_state.bin'\n  torch.save(model.state_dict(), model_filename)")

15 frames
<decorator-gen-60> in time(self, line, cell, local_ns)

<timed exec> in <module>()

/usr/local/lib/python3.6/dist-packages/transformers/modeling_bert.py in forward(self, hidden_states, attention_mask, head_mask, encoder_hidden_states, encoder_attention_mask)
    234         # Take the dot product between "query" and "key" to get the raw attention scores.
    235         attention_scores = torch.matmul(query_layer, key_layer.transpose(-1, -2))
--> 236         attention_scores = attention_scores / math.sqrt(self.attention_head_size)
    237         if attention_mask is not None:
    238             # Apply the attention mask is (precomputed for all layers in BertModel forward() function)

RuntimeError: CUDA out of memory. Tried to allocate 24.00 MiB (GPU 0; 7.43 GiB total capacity; 5.42 GiB already allocated; 8.94 MiB free; 5.79 GiB reserved in total by PyTorch)

Answer 1

我在变压器中遇到了同样的问题，变压器非常memory intensive。因此，在训练更大的模型或更长的时期时，我们很有可能会耗尽内存或运行时限制。

\n

有一些有前途的众所周知的开箱即用策略可以解决这些问题，并且每种策略都有自己的好处。

\n

\n
• 动态填充和均匀长度批处理（智能批处理）
\n
• 梯度累积
\n
• 冷冻包埋
\n
• 数值精度降低
\n
• 梯度检查点
\n

\n

在一批序列上训练神经网络要求它们具有完全相同的长度来构建批量矩阵表示。因为现实生活中的 NLP 数据集总是由可变长度的文本组成，所以我们经常需要通过截断它们来缩短一些序列，并通过在末尾添加一个名为 \xe2\x80\x9cpad\xe2\x80 的重复假标记来使其他一些序列更长\x9d 标记。

\n

因为 pad token 并不代表真实的单词，所以当大多数计算完成时，在计算损失之前，我们通过 \xe2\x80\x9cattention mask\xe2\ 将 pad token 信号乘以 0 来擦除每个样本的 x80\x9d 矩阵，它标识 [PAD] 标记并告诉 Transformer 忽略它们。

\n

\n

动态填充： \n这里我们限制添加的填充令牌的数量以达到每个小批量的最长序列的长度，而不是为整个训练集设置一个固定值，因为添加的令牌数量在各个小批量之间发生变化，所以我们称之为“动态”填充。

\n

\n

统一长度配料：

\n

我们通过生成由相似长度序列组成的批次来进一步推动逻辑，因此我们避免了极端情况，即小批量中的大多数序列都很短，并且我们需要向每个序列添加大量填充令牌，因为同一小批量的 1 个序列是很长。

\n

\n