OpenAI GPT-3 API：微调是否有令牌限制？

Question

在 GPT-3 API 的文档中，它说：

需要记住的一个限制是，对于大多数模型来说，单个 API 请求在提示和完成之间最多只能处理 2,048 个令牌（大约 1,500 个单词）。

在微调模型的文档中，它说：

训练样本越多越好。我们建议至少有几百个例子。一般来说，我们发现数据集大小每增加一倍都会导致模型质量线性增加。

我的问题是，1,500 字的限制是否也适用于微调模型？“数据集大小加倍”是否意味着训练数据集的数量而不是每个训练数据集的大小？

Answer 1

GPT-3 模型有令牌限制，因为您只能提供 1 个提示并获得 1 个完成。因此，正如OpenAI官方文章中所述：

根据所使用的模型，请求最多可以使用提示和完成之间共享的 4097 个令牌。如果您的提示是 4000 个令牌，那么您最多可以完成 97 个令牌。

然而，微调本身没有令牌限制（即，您可以拥有一百万个训练示例，一百万个提示完成对），如OpenAI 官方文档中所述：

训练示例越多越好。我们建议至少有几百个例子。一般来说，我们发现数据集大小每增加一倍都会导致模型质量线性增加。

但是，每个微调提示-完成对确实有一个令牌限制。每个微调提示-完成对不应超过令牌限制。