Huggingface 变压器：无法从变压器导入 BitsAndBytesConfig

Question

按照Huggingface 量化指南，我安装了以下内容：

\n

pip install transformers accelerate bitsandbytes\n

\n

（它产生了transformers 4.26.0，accelerate 0.16.0，bitsandbytes 0.37.0，这似乎符合guide\xe2\x80\x99s的要求。）

\n

然后在 Python 中运行卸载代码的第一行：

\n

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig\n

\n

然而，它导致了以下错误：ImportError: cannot import name \'BitsAndBytesConfig\' from \'transformers\' (/usr/local/lib/python3.10/dist-packages/transformers/__init__.py)。

\n

做事grep BitsAndBytesConfig -r /usr/local/lib/python3.10/dist-packages不会有任何收获。

\n

是否有我可能跳过的步骤，或者我可以解决的版本不一致问题？

\n

Answer 1

BitsAndBytesConfig最近才添加，最新版本可以追溯到更早之前。

\n

在线文档是从 source\xe2\x80\x99s mdx 生成的，因此有时会引用尚未发布的内容。但是，可以通过从源安装来尝试：

\n

pip install git+https://github.com/huggingface/transformers\n

\n