OpenAI API：如何指定补全应返回的最大字数？

Question

如何指定 Open AI 补全应返回的字数？

例如想象我问人工智能这个问题

埃隆·马斯克是谁？

我可以使用什么参数来确保 AI 发回的结果小于或等于 300 个字？

我认为max_tokens参数是为了这个，但它似乎max_tokens是为了分解输入而不是输出。

Answer 1

您在 Playground 中查找的参数Maximum length在 API 中称为“max_tokens”。令牌在提示和完成之间共享。

给定 API 请求中处理的令牌数量取决于输入和输出的长度。根据粗略的经验，1 个标记大约相当于 4 个字符或英文文本的 0.75 个单词。要记住的一个限制是，文本提示和生成的补全相结合不得超过模型的最大上下文长度（对于大多数模型，这是 2048 个标记，或大约 1500 个单词）。查看我们的标记生成器工具，了解有关文本如何转换为标记的更多信息。

查看文档

请注意，此参数处理的是标记而不是单词。如果您想找到与标记相当的单词数，请使用标记器。