小编Sad*_*afi的帖子

我正在尝试在带有服务器的计算机上运行 Llama 2.0，它警告我，我的速度会变慢，因为我犯了一些我不知道的错误，但是它可以工作，但我不知道如何优化它

以下是功能代码

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch 

class LlamaChatBot:
    def __init__(self, model_name ="daryl149/llama-2-7b-chat-hf"):
            torch.cuda.empty_cache()
            self.isGPU = torch.cuda.is_available()
            self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
            if self.isGPU:
                self.tokenizer = AutoTokenizer.from_pretrained(model_name)
                self.model = AutoModelForCausalLM.from_pretrained(
                    model_name,
                    device_map='auto', load_in_4bit=True
                )
            else:
                self.tokenizer = AutoTokenizer.from_pretrained("daryl149/llama-2-7b-chat-hf")
                self.model = AutoModelForCausalLM.from_pretrained(model_name).to(self.device)

    def generate_response(self, prompt):
        if self.isGPU():
            input_ids = self.tokenizer(prompt, return_tensors="pt").input_ids.to('cuda')
        else: input_ids = self.tokenizer(prompt, return_tensors="pt").input_ids
        generated_ids = self.model.generate(input_ids, max_length=1024)
        generated_text = self.tokenizer.decode(generated_ids[0], skip_special_tokens=True)
        print(generated_text)

        return generated_text

警告 ：

  warnings.warn(f'Input type into Linear4bit is torch.float16, …

根据文档中的定义 ：

批量大小：每次梯度更新的样本数。

每个纪元的步骤：声明一个纪元完成并开始下一个纪元之前的总步骤数（样本批次）

它们有何不同？如果不同的话，它们又如何相互依赖？

我使用seaborn的线图根据数据进行绘制，其代码如下所示：

sns.lineplot( x=df["#Energy"], y=df["py"]+df["px"]+df["pz"])

我得到的情节是

现在我想将其下方的区域涂成不透明的蓝色，我该怎么做，我在seaborn lineplot文档中找不到与此相关的任何内容，感谢所有帮助的努力