使用 Azure OpenAI GPT4 进行图像到文本转换

Question

我部署了 Azure 开放 AI 帐户和 GPT4 模型。我可以使用它的API进行图像到文本的描述吗？如果是，我将如何给它图像？我正在使用这段代码。但它给我一个错误。

import openai
# open ai key
openai.api_type = "azure"
openai.api_version = "2023-03-15-preview"
openai.api_base = 'https://xxxxxx.openai.azure.com/'
openai.api_key = "xxxxxxxxxxxxx"

image_url="https://cdn.repliers.io/IMG-X5925532_9.jpg"

def generate_image_description(image_url):
    prompt = f"What is in this image? {image_url}"
    print(prompt)
    response = openai.ChatCompletion.create(
        engine="GPT4v0314",
        prompt=prompt,
        max_tokens=1024,
        n=1,
        stop=None,
        temperature=0.0,
    )
    description = response.choices[0].text.strip()
    return description

错误就像；APIError：来自 API 的无效响应对象：“不支持的数据类型\n”（HTTP 响应代码为 400）

我在解释里面提到过。

Answer 1

目前，Azure OpenAI GPT-4 模型不是多模态的：您无法直接传递图像，因此无法实现您想要的目标。

请参阅此处的官方文档

编辑：2023 年 11 月 15 日在 Microsoft Ignite 期间宣布

GPT-4 Turbo with Vision (GPT-4V)：与 Azure AI Vision 集成时，GPT-4V 将允许将图像或视频与文本一起包含以生成文本输出，从而增强体验，从而受益于视频分析等 Azure AI Vision 增强功能。GPT-4V 将于 2023 年底推出预览版。

来源： https: //news.microsoft.com/ignite-2023-book-of-news/