将 LLama 2 7B 与 python 结合使用

Question

我想在我的 win 11 机器上使用 python 本地使用 llama 2 7B。我安装了带有 cuda 和 pytorch 的 conda venv，并支持 cuda 和 python 3.10。所以我准备出发了。

这里的文件是从 meta: 文件夹 llama-2-7b-chat 本地下载的：

• 检查表.chk
• 综合.00.pth
• 参数.json

现在我想与模型进行交互。但我只找到从 Huggingface 下载模型的代码片段，这在我的情况下是不需要的。

有人可以给我提供几行代码来通过 Python 与模型交互吗？

Answer 1

下载的文件并不都是需要的。我在 win 11 上使用 cuda gpu 让它工作，但用了另一种方式：

1. 首先，我使用了这个存储库，而不是 Meta 本身提供的代码（但我必须通过 Huggingface 下载文件）：https ://github.com/oobabooga/text- Generation-webui

2. 通过 conda 安装 cuda 确实有一些错误，即使一开始一切看起来都很好。我可以通过安装此处提供的堆栈来解决此问题：https ://github.com/jeffheaton/t81_558_deep_learning/blob/master/install/manual_setup2.ipynb

我希望对其他人也有帮助......