在 Google Colab 中使用 llama-cpp-python 时出现断言错误

Question

我正在尝试使用 llama-cpp-python （llama.cpp 的 Python 包装器）使用 Google Colab 中的 Llama LLM 进行推理。我的代码如下所示：

!pip install llama-cpp-python
from llama_cpp import ChatCompletionMessage, Llama

model = Llama(
    "/content/drive/MyDrive/<weights-file>.bin",
)

但是，当运行它时，我收到此错误：

AssertionError                            Traceback (most recent call last)
<ipython-input-13-652eb650093d> in <cell line: 9>()
      7 }
      8 
----> 9 model = Llama(
     10     model_path="/content/drive/MyDrive/careo/Wizard-Vicuna-13B-Uncensored.ggmlv3.q4_1.bin",
     11 )

/usr/local/lib/python3.10/dist-packages/llama_cpp/llama.py in __init__(self, model_path, n_ctx, n_parts, n_gpu_layers, seed, f16_kv, logits_all, vocab_only, use_mmap, use_mlock, embedding, n_threads, n_batch, last_n_tokens_size, lora_base, lora_path, low_vram, tensor_split, rope_freq_base, rope_freq_scale, n_gqa, rms_norm_eps, mul_mat_q, verbose)
    321                     self.model_path.encode("utf-8"), self.params
    322                 )
--> 323         assert self.model is not None
    324 
    325         if verbose:

AssertionError: 

我尝试在本地计算机上运行此代码，它运行没有问题。您知道 Google Colab 中可能出现错误的原因是什么吗？

Answer 1

从模型路径 - model_path="/content/drive/MyDrive/careo/Wizard-Vicuna-13B-Uncensored.ggmlv3.q4_1.bin"，我可以看到您正在使用 ggmlv3 模型格式，根据llama-cpp-python存储库的新提交，新模型格式已从 ggmlv3 更改为 gguf。

作者还提到 ggmlv3 权重仍然适用于 0.1.79（新版本）之前的版本，因此您可以在安装包时提及该版本pip install llama-cpp-python==0.1.78，或者更改新版本 gguf 的模型格式 -请参阅。

如果 CodeLlama 模型权重对您有用，那么拥抱脸上发布了很多模型权重，例如TheBloke/CodeLlama-13B-GGUF