小编Vor*_*kus的帖子

微调 GPT2 时 CUDA 内存不足

运行时错误:CUDA 内存不足。尝试分配 144.00 MiB(GPU 0;11.17 GiB 总容量;10.49 GiB 已分配;13.81 MiB 空闲;PyTorch 总共保留 10.56 GiB)如果保留内存 >> 已分配内存,请尝试设置 max_split_size_mb 以避免碎片。请参阅内存管理和 PYTORCH_CUDA_ALLOC_CONF 的文档

这是我遇到的错误,我尝试过调整批量大小但无济于事。我正在 google colab 上进行培训。

这是与错误相关的代码段:

training_args = TrainingArguments(
output_dir="/content/",
num_train_epochs=EPOCHS,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
# gradient_accumulation_steps=BATCH_UPDATE,
evaluation_strategy="epoch",
save_strategy='epoch',
fp16=True,
fp16_opt_level=APEX_OPT_LEVEL,
warmup_steps=WARMUP_STEPS,    
learning_rate=LR,
adam_epsilon=EPS,
weight_decay=0.01,        
save_total_limit=1,
load_best_model_at_end=True,     
)
Run Code Online (Sandbox Code Playgroud)

有什么解决办法吗?

python nlp machine-learning training-data gpt-2

1
推荐指数
1
解决办法
2100
查看次数

标签 统计

gpt-2 ×1

machine-learning ×1

nlp ×1

python ×1

training-data ×1