OpenAI 微调 API：为什么我要使用 LlamaIndex 或 LangChain 而不是微调模型？

Question

我刚刚开始使用法学硕士，特别是 OpenAI 和其他 OSS 模型。有很多关于使用 LlamaIndex 创建所有文档的存储然后查询它们的指南。我用一些示例文档进行了尝试，但发现每个查询很快就会变得非常昂贵。我想我使用了 50 页的 PDF 文档，摘要查询每次查询花费了大约 1.5 美元。我看到有很多令牌被发送，所以我假设它为每个查询发送整个文档。考虑到有人可能想要使用数以千万计的记录，我看不出像 LlamaIndex 这样的东西如何能够以经济高效的方式真正发挥作用。

另一方面，我看到 OpenAI 允许你训练 ChatGPT 模型。或者使用其他经过定制培训的法学硕士来查询您自己的数据不是更便宜、更有效吗？我为什么要设置 LlamaIndex？

Answer 1

TLD;DR：使用 LlamaIndex 或 LangChain 从现有数据源中获取特定问题的准确答案（即事实）。

\n

为什么选择LlamaIndex或LangChain而不是微调模型？

\n

答案很简单，但你自己无法回答，因为你只考虑成本。还有其他方面，不仅仅是成本。看一下问题的可用性方面。

\n

微调模型将为模型提供额外的常识，但微调后的模型不会（必然）为您提供特定问题的准确答案（即事实）。

\n

人们用一些数据训练 OpenAI 模型，但是当他们询问一些与微调数据相关的问题时，他们会惊讶地发现该模型没有用通过微调获得的知识来回答。请参阅OpenAI 官方论坛上 @juan_olano 的示例说明：

\n

\n

我微调了一本7万字的书。我最初的期望是拥有\n所需的 QA，但那时我\xe2\x80\x99 不知道更多。但这种微调向我展示了这种方法的局限性。它只是学习了\n风格并或多或少地留在了语料库中，但\n产生了很多幻觉。

\n

然后我将这本书分成句子并通过嵌入进行工作，现在我为这本书拥有了一个非常不错的质量检查系统，但适用于狭窄的问题。对于需要整本书的上下文的问题来说，它不太好。

\n

\n

另请参阅OpenAI 官方文档：

\n

\n

微调可以改善结果的一些常见用例：

\n

\n
• 设置风格、基调、格式或其他定性方面
\n
• 提高产生所需输出的可靠性
\n
• 纠正未能遵循复杂提示的问题
\n
• 以特定方式处理许多边缘情况
\n
• 执行难以在提示中清晰表达的新技能或任务
\n

\n

\n

LlamaIndex 或 LangChain 使您能够将 OpenAI 模型与现有数据源连接起来。例如，一家公司有一堆内部文档，其中包含各种说明、指南、规则等。可以使用 LlamaIndex 或 LangChain 查询所有这些文档，并向需要答案的员工提供准确的答案。

\n

OpenAI 模型无法查询其知识。查询需要计算嵌入向量和余弦相似度，这是 OpenAI 模型无法做到的。OpenAI 模型根据哪个词应该跟在前一个词之后的统计概率给出答案。

\n

我强烈建议您阅读我之前关于语义搜索的答案。你会更好地理解这个答案。

\n