Dalai Alpaca安装运行失败，模型文件'models/7B/ggml-model-q4_0.bin'无效

Question

我开始尝试让 Dalai Alpaca 工作，如此处所示，并按照自述文件中的命令使用 Docker Compose 安装它：

docker compose build
docker compose run dalai npx dalai alpaca install 7B
docker compose up -d

它成功地下载了它，并且网站出现了。但是当我尝试提示它时，我收到错误llama_model_load: invalid model file 'models/7B/ggml-model-q4_0.bin' (bad magic)。有没有什么办法解决这一问题？

调试模式下的完整错误：

/root/dalai/alpaca/main --seed -1 --threads 6 --n_predict 200 --model models/7B/ggml-model-q4_0.bin --top_k 40 --top_p 0.9 --temp 0.8 --repeat_last_n 64 --repeat_penalty 1.3 -p "高度智能的聊天机器人对“你好！”的预期响应是 "" exit root@06ca5ae31973:~/dalai/alpaca# /root/dalai/alpaca/main --seed -1 --线程 6 --n_predict 200 --model models/7B/ggml-model-q4_0.bin --top_k 40 --top_p 0.9 --temp 0.8 --repeat_last_n 64 --repeat_penalty 1.3 -p "高度智能的预期响应聊天机器人说“你好！” 是/root/dalai/alpaca/main --seed -1 --threads 6 --n_predict 200 --model models/7B/ggml-model-q4_0.bin --top_k 40 --top_p 0.9 --temp 0.8 -- Repeat_last_n 64 --repeat_penalty 1.3 -p “高度智能的聊天机器人对“Hello”的预期响应是“” main：seed = 1684196106 llama_model_load：从“models/7B/ggml-model-q4_0.bin”加载模型 -请稍候... llama_model_load：无效的模型文件“models/7B/ggml-model-q4_0.bin”（坏魔法）主要：无法从“models/7B/ggml-model-q4_0.bin”加载模型 root@06ca5ae31973 :~/dalai/alpaca# exit 退出

我已经尝试过重新安装它。该文件似乎位于正确的位置（dalai\models\alpaca\models），因此我不确定出了什么问题。

Answer 1

我遇到了同样的问题 - 我没有完全解决它，而是通过使用安装基于 nodejs/python 的解决方案时安装的 README.md 文件之一中的说明来解决它。

git clone https://github.com/antimatter15/alpaca.cpp

cd alpaca.cpp

make chat

可以使用curl 获取模型文件 - 给出了三个位置，但这个位置是最快的：

curl -o ggml-alpaca-7b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC

然后运行

./chat

它对我有用，但速度很慢并且占用大量 CPU！