标签: gpt4all

我将privateGPT与默认的GPT4All模型 ( ggml-gpt4all-j-v1.3-groovy.bin ) 一起使用，但也与最新的 Falcon 版本一起使用。我的问题是，我期望仅从本地文档中获取信息，而不是从模型已经“知道”的信息中获取信息。

示例：如果唯一的本地文档是软件的参考手册，我预计 privateGPT 无法回答以下问题：“德国的首都是哪一个？” 或“什么是苹果？” 因为它的内容不在本地文档本身中。

privateGPT 使用本地 Chroma 矢量存储来存储本地文档中的嵌入。langchain检索器不应该只从这些中获取信息吗？我缺少什么？

from langchain import PromptTemplate, LLMChain
from langchain.llms import GPT4All
from langchain.callbacks.base import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

local_path = './models/gpt4all-converted.bin'
callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

template = """Question: {question}

Answer: Let's think step by step.

"""

prompt = PromptTemplate(template=template, input_variables=["question"])
llm = GPT4All(model=local_path,
              callback_manager=callback_manager, verbose=True)
llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

# question = input("Enter your question: ")

llm_chain.run(question)

尝试在本地使用 gpt4all 测试 langchain 并收到此错误。看起来像是版本的东西。我尝试了很多上网冲浪但没有得到任何结果。

Exception ignored in: <function …