相关疑难解决方法(0)

OpenAI 的文本模型具有上下文长度，例如：Curie 的上下文长度为 2049 个标记。它们提供 max_tokens 和 stop 参数来控制生成序列的长度。因此，当获得停止令牌或达到 max_tokens 时，生成就会停止。

问题是：生成文本时，我不知道提示符包含多少个标记。因为我不知道，所以我无法设置 max_tokens = 2049 - number_tokens_in_prompt。

这使我无法为各种长度的文本动态生成文本。我需要的是继续生成直到停止令牌。

我的问题是：

• 如何计算Python API中的token数量？这样我就会相应地设置 max_tokens 参数。
• 有没有办法将 max_tokens 设置为最大上限，这样我就不需要计算提示令牌的数量？