ModuleNotFoundError：使用 Anaconda 时没有名为“huggingface_hub.utils”的模块

Question

我正在尝试执行 Huggingface 网站的示例代码：

from transformers import GPTJTokenizer, TFGPTJModel
import tensorflow as tf

tokenizer = GPTJTokenizer.from_pretrained("EleutherAI/gpt-j-6B")
model = TFGPTJModel.from_pretrained("EleutherAI/gpt-j-6B")

inputs = tokenizer("Hello, my dog is cute", return_tensors="tf")
outputs = model(inputs)

last_hidden_states = outputs.last_hidden_state

我正在使用 anaconda，并且按照文档conda install -c huggingface transformers中的说明预先安装了 Transformer 包。但当我尝试执行代码时，我仍然收到此错误。弹出如下错误信息：ModuleNotFoundError: No module named 'huggingface_hub.utils'

如何解决这个错误？

Answer 1

我有同样的问题。就我而言，这与 libssl 库的工作在新版本的拥抱脸中被搞乱有关。降级一点对我来说解决了这个问题。

这会将分词器降级至 0.10.3，并将转换器降级至适合分词器的最新版本。

conda install -c huggingface transformers==4.14.1 tokenizers==0.10.3 -y

如果您随后收到错误，Import Error : cannot import name 'create_repo' from 'huggingface_hub'您还应该使用以下方法更新您的huggingface_hub版本：

conda install -c huggingface huggingface_hub