如何从头开始训练 gpt 2？

Question

我想从头开始训练 gpt 2，但我发现的文章中只有基于预训练模型的微调方法。我已经使用这个https://github.com/nshepperd/gpt-2来训练现有模型。我应该编辑这些 Python 脚本以从头开始训练吗？

Answer 1

我在这个 repo https://github.com/nshepperd/gpt-2 的“问题”中找到了答案

如果您根本不想使用已发布的模型，例如因为您想训练具有不兼容超参数的模型，则只需跳过从已发布的模型检查点（train.py:164-177 左右）开始的恢复就足够了您的第一次运行，因此参数都将被随机初始化。