如何在 Azure 上部署实时 Llama 2 端点?

Ahm*_*ikh 6 cloud virtual-machine azure azure-machine-learning-service large-language-model

我读了很多关于开源法学硕士的文章,随着最近发布的 Llama 2,我有一个问题。

由于 Llama 2 现在位于 Azure 上,作为外行/新手,我想知道如何在 Azure 上实际部署和使用该模型。我想为 Llama 2 创建一个实时端点。我看到 VM 的最小值。每小时 6 美元,我可以部署 Llama 2 7B...其成本让我感到困惑(虚拟机是否持续运行?)。

有谁知道如何部署以及在 Azure 上运行 Llama 2(例如 7B)需要多少费用?

我尝试通过 Azure AI ML studio 在 Azure 上部署实时 Llama 2 7B 端点。对部署此类模型端点的正确方法感到困惑。