坚持下载碎片以从 Huggingface 加载 LLM 模型

Question

我只是使用 Huggingface 示例来使用他们的 LLM 模型，但它停留在：

downloading shards:   0%|          | 0/5 [00:00<?, ?it/s]

（我使用的是 Jupiter 笔记本，python 3.11并且所有要求均已安装）

downloading shards:   0%|          | 0/5 [00:00<?, ?it/s]

我该如何修复它？

Answer 1

我认为它没有被卡住。这些只是非常大的模型，需要一段时间才能下载。tqdm仅在第一次迭代后进行估计，因此看起来就像什么都没有发生一样。我目前正在下载 LLama2 的最小版本（7B 参数），它正在下载两个分片。第一个花了超过 17 分钟才能完成，而且我的互联网连接速度相当快。