标签: amazon-sagemaker-studio

我尝试使用 HuggingFace Transformer 通过运行以下代码来创建管道（代码在 SageMaker Jupyter 实验室上运行）：

pipeline = transformers.pipeline(
    "text-generation",
    model="meta-llama/Llama-2-7b-chat-hf",
    torch_dtype=torch.float16,
    device_map="auto",
)

但是，它会生成以下错误：

ImportError: Using `low_cpu_mem_usage=True` or a `device_map` requires Accelerate: `pip install accelerate`

参考：

Packages version:print(accelerate.__version__), print(transformers.__version__)
0.21.0
4.31.0