OpenAI GPT-3 API：微调微调模型？

Question

OpenAI 文档model中有关微调 API 属性的说明有点令人困惑：

模型

要微调的基本模型的名称。您可以选择“ada”、“babbage”、“curie”、“davinci”之一或 2022 年 4 月 21 日之后创建的微调模型。

我的问题：微调基本模型还是微调模型更好？

ada我从with file创建了一个微调模型mydata1K.jsonl：

ada + mydata1K.jsonl --> ada:ft-acme-inc-2022-06-25

现在我有一个更大的样本文件mydata2K.jsonl，我想用它来改进微调模型。在这第二轮微调中，是ada再次微调好还是对我微调后的模型进行微调好ada:ft-acme-inc-2022-06-25？我假设这是可能的，因为我的微调模型是在 2022 年 4 月 21 日之后创建的。

ada + mydata2K.jsonl --> better-model

或者

ada:ft-acme-inc-2022-06-25 + mydata2K.jsonl --> even-better-model?

Answer 1

更新

看起来不再支持对微调模型进行微调，正如OpenAI 官方文档中所述：

已经微调过的模型还可以继续微调吗？

不，我们目前不支持在作业完成后继续进行微调过程。我们计划在不久的将来支持这一点。

正如OpenAI官方文档中所述：

如果您已经针对您的任务微调了模型，并且现在拥有想要合并的其他训练数据，则可以继续对模型进行微调。这创建了一个从所有训练数据中学习的模型，而无需从头开始重新训练。

为此，请在创建新的微调作业时传入微调模型名称（例如-m curie:ft-<org>-<date>）。其他训练参数不必更改，但是如果您的新训练数据比以前的训练数据小得多，您可能会发现减少learning_rate_multiplier2 到 4 倍很有用。

选择哪个选项？

您问的是两个选项：

• 选项1：ada + bigger-training-dataset.jsonl
• 选项2：ada:ft-acme-inc-2022-06-25 + additional-training-dataset.jsonl

该文档没有说明哪个选项更好，哪个选项会产生更好的结果。

然而...

选择选项 2

为什么？

训练微调模型时，使用的总代币将根据我们的训练费率进行计费。

如果您选择选项 1，您需要为训练数据集中的某些令牌支付两次费用。首先，当使用初始训练数据集进行微调时，其次，当使用更大的训练数据集（即bigger-training-dataset.jsonl= initial-training-dataset.jsonl+ additional-training-dataset.jsonl）进行微调时。

最好继续从微调模型进行微调，因为您只需为附加训练数据集中的令牌付费。

了解有关微调定价计算的更多信息。