标签: alpaca

我无法导入LLaMATokenizer

这个问题有什么解决办法吗？

我正在使用这个仓库的代码。 https://github.com/zphang/transformers/tree/llama_push 并尝试使用加载模型和标记生成器

tokenizer = transformers.LLaMATokenizer.from_pretrained("./weights/tokenizer/")
model = transformers.LLaMAForCausalLM.from_pretrained("./weights/llama-7b/")

这会导致以下错误：

ImportError：无法从“transformers”导入名称“LLaMATokenizer”

代码基于https://github.com/tloen/alpaca-lora/blob/main/finetune.py

我这次训练的目标是利用无监督训练数据集让模型理解我的领域中单词的书写方式（基本上是屏蔽语言建模）。我不使用传统教学微调的原因是因为没有足够数量的数据集可供我使用。

我所做的 2 个主要更改如下

\n
1. 我不会根据 Llama 的权重进行微调，而是根据现有的 alpaca-lora 的权重进行微调。因此，我将代码编辑如下
\n

from peft import (\n    # LoraConfig,\n    PeftModel,\n    get_peft_model,\n    get_peft_model_state_dict,\n    prepare_model_for_int8_training,\n    set_peft_model_state_dict,\n)\n

也

# config = LoraConfig(\n    #     r=lora_r,\n    #     lora_alpha=lora_alpha,\n    #     target_modules=lora_target_modules,\n    #     lora_dropout=lora_dropout,\n    #     bias="none",\n    #     task_type="CAUSAL_LM",\n    # )\n    # model = get_peft_model(model, config)\n\n    # replace with this to load directly from alpaca\n    LORA_WEIGHTS = "tloen/alpaca-lora-7b"\n    model = PeftModel.from_pretrained(\n        model,\n        LORA_WEIGHTS,\n        torch_dtype=torch.float16,\n    )\n

\n
2. 将数据集编辑为我自己的。（我没有使用提示模板）。我生成数据集的代码如下：
\n

def chunk_text(data):\n …

我开始尝试让 Dalai Alpaca 工作，如此处所示，并按照自述文件中的命令使用 Docker Compose 安装它：

docker compose build
docker compose run dalai npx dalai alpaca install 7B
docker compose up -d

它成功地下载了它，并且网站出现了。但是当我尝试提示它时，我收到错误llama_model_load: invalid model file 'models/7B/ggml-model-q4_0.bin' (bad magic)。有没有什么办法解决这一问题？

调试模式下的完整错误：

/root/dalai/alpaca/main --seed -1 --threads 6 --n_predict 200 --model models/7B/ggml-model-q4_0.bin --top_k 40 --top_p 0.9 --temp 0.8 --repeat_last_n 64 --repeat_penalty 1.3 -p "高度智能的聊天机器人对“你好！”的预期响应是 "" exit root@06ca5ae31973:~/dalai/alpaca# /root/dalai/alpaca/main --seed -1 --线程 6 --n_predict 200 --model models/7B/ggml-model-q4_0.bin --top_k 40 --top_p 0.9 --temp 0.8 --repeat_last_n 64 --repeat_penalty 1.3 -p "高度智能的预期响应聊天机器人说“你好！” …