我想使用 Huggingface\xe2\x80\x99s Transformers 微调 GPT-2 模型。最好是中号型号，但如果可能的话大号。目前，我有一块内存为 11GB 的 RTX 2080 Ti，我可以很好地训练小模型。
\n\n我的问题是：如果我将旧的 Tesla K80 (24GB) 添加到我的机器并分发训练，我会遇到任何问题吗？我找不到有关在训练期间使用不同容量 GPU 的信息以及我可能遇到的问题。
\n\n我的模型大小限制本质上是所有可用 GPU 内存的总和吗？（35GB？）
\n\n我\xe2\x80\x99m 对在AWS 中执行此操作不感兴趣。
\n