运行时错误:CUDA 内存不足。尝试分配 144.00 MiB(GPU 0;11.17 GiB 总容量;10.49 GiB 已分配;13.81 MiB 空闲;PyTorch 总共保留 10.56 GiB)如果保留内存 >> 已分配内存,请尝试设置 max_split_size_mb 以避免碎片。请参阅内存管理和 PYTORCH_CUDA_ALLOC_CONF 的文档
这是我遇到的错误,我尝试过调整批量大小但无济于事。我正在 google colab 上进行培训。
这是与错误相关的代码段:
training_args = TrainingArguments(
output_dir="/content/",
num_train_epochs=EPOCHS,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
# gradient_accumulation_steps=BATCH_UPDATE,
evaluation_strategy="epoch",
save_strategy='epoch',
fp16=True,
fp16_opt_level=APEX_OPT_LEVEL,
warmup_steps=WARMUP_STEPS,
learning_rate=LR,
adam_epsilon=EPS,
weight_decay=0.01,
save_total_limit=1,
load_best_model_at_end=True,
)
Run Code Online (Sandbox Code Playgroud)
有什么解决办法吗?