需要加速和bitsandbytes来安装，但我做到了

Question

我正在尝试加载量化

from transformers import LlamaForCausalLM
from transformers import BitsAndBytesConfig

model = '/model/'
model = LlamaForCausalLM.from_pretrained(model, quantization_config=BitsAndBytesConfig(load_in_8bit=True))

但我得到了错误

ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the latest version of bitsandbytes `pip install -i https://test.pypi.org/simple/ bitsandbytes` or pip install bitsandbytes` 

但我都安装了，但出现同样的错误。我关闭并重新启动了我正在使用的 jupyter 内核。

Answer 1

我transformers使用以下命令将库降级到版本 4.30：

pip install transformers==4.30

Answer 2

我使用的是 M1 Mac，也有类似的问题。安装后accelerate我bitsandbytes仍然得到

ImportError: 使用load_in_8bit=True需要 Accelerate:pip install accelerate和最新版本的 bitsandbytespip install -i https://test.pypi.org/simple/ bitsandbytes或 pip install bitsandbytes

我在 Transformers 源代码中查看了一下，发现一个名为 的函数is_bitsandbytes_available()，只有在安装了 BitsandBytes且 且 torch.cuda.is_available()时才返回 true ，而在 Apple Silicon 机器上则不是这种情况。另外，https://github.com/TimDettmers/bitsandbytes/issues/252确认 Bitsandbytes 不支持 MPS（金属）。我不知道为什么 Huggingface 的文档没有提到（除非我在某个地方错过了）他们的示例不适用于 Apple Silicon。