无法导入 BertTokenizer

Question

我正在尝试使用 Transformer 包的 BertTokenizer 部分。首先我安装如下。

pip install transformers

这说明它成功了。

当我尝试导入如下所示的包的某些部分时，我得到以下信息。

 from transformers import BertTokenizer
Traceback (most recent call last):

  File "<ipython-input-2-89505a24ece6>", line 1, in <module>
    from transformers import BertTokenizer

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\__init__.py", line 22, in <module>
    from .integrations import (  # isort:skip

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\integrations.py", line 42, in <module>
    from .trainer_utils import PREFIX_CHECKPOINT_DIR, BestRun  # isort:skip

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\trainer_utils.py", line 10, in <module>
    from .tokenization_utils_base import ExplicitEnum

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\tokenization_utils_base.py", line 31, in <module>
    from tokenizers import AddedToken

  File "C:\Users\User\anaconda3\lib\site-packages\tokenizers\__init__.py", line 17, in <module>
    from .tokenizers import Tokenizer, Encoding, AddedToken

ModuleNotFoundError: No module named 'tokenizers.tokenizers'

该软件包在这里有详细说明，所以我认为应该可以使用 https://huggingface.co/transformers/model_doc/bert.html

Answer 1

你可以这样做：

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')

它应该可以正常工作。

无论如何，我做了一个测试并做了你所做的事情，但这对我有用。我无法重现你的错误。可能是你没有正确安装该库。尝试创建一个新环境并从头开始安装。