无法在 Mac M1 中安装标记器

Question

我在 Macbook Pro M1 Max 中安装了变压器

之后，我安装了标记器

pip install tokenizers

这显示了

使用缓存的 tokenizers-0.12.1-cp39-cp39-macosx_12_0_arm64.whl收集
tokenizers 已成功安装 tokenizers-0.12.1

它似乎对 whl 文件使用了正确的体系结构

当我导入它时我得到

'/Users/myname/miniforge3/envs/tf/lib/python3.9/site-packages/tokenizers/tokenizers.cpython-39-darwin.so'（mach-o 文件，但是不兼容的架构（具有 'x86_64' ，需要'arm64e'))

我发现这个问题以前也发生在其他人身上。关于如何解决这个问题有什么想法吗？

Answer 1

James Briggs方法有效，但会产生以下错误

note: This error originates from a subprocess, and is likely not a problem with pip.
  ERROR: Failed building wheel for tokenizers
Failed to build tokenizers
ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based projects

问题

安装 Rust 和 Cargo 后，我们必须获取环境文件。这是上一个答案中缺少的步骤。

解决方案

解决此问题的解决方法是在安装 Rust 后立即在终端中键入以下内容：

source "$HOME/.cargo/env"

然后，您可以使用以下代码片段安装变压器：

pip install transformers