上周GPT大更新，不仅开放了GPT-4-Turbo、GPT-4-Vision等模型api，还发布了GPTs，使得用户能够根据需要定义自己的GPT应用，OpenAI在这波AI革命上又一次震撼世人。

笔者也在上周拿到了几个新模型的api资格，一直盼着可以测试年初就官宣的多模态功能，所以迫不及待的就测了一波。

DALL.E 3绘图功能测试

from openai import OpenAI


client = OpenAI(api_key=api_key)
response = client.images.generate(
  model="dall-e-3",
  prompt="A spaceship flying through the universe",
  size="1024x1024",
  quality="standard",
  n=1,
  response_format='b64_json'
)


image_b64 = response.data[0].b64_json
generated_image = base64_to_image(image_b64)
plt.imshow(generated_image)
plt.axis("off")
plt.show()

可以看到，DALL.E 3相比于此前的DALL.E 2的绘图质量还是要高出许多的，按照OpenAI官方定价，生成一张标准质量的1024*1024大小的图像，需要两毛九分钱，还是有点小贵的。

GPT-Turbo-4V测试

具有视觉功能的 GPT-4 (GPT-4V) 使用户能够使得 GPT-4 分析用户提供的输入图像。其实按道理这是当初GPT-4发布时候就官宣了的多模态功能，但到现在才开放给咱们用户使用。

作为一名爬行动物爱好者，我们先准备一张竹叶青的图像：

然后调用GPT-4V多模态模型对其进行分析：

headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {api_key}"
}


payload = {
    "model": "gpt-4-vision-preview",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "图片里有什么？"
          },
          {
            "type": "image_url",
            "image_url": {
              "url": f"data:image/jpeg;base64,{base64_image}"
            }
          }
        ]
      }
    ],
    "max_tokens": 300
}


response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
print(response.json()['choices'][0]['message']['content'])

可以看到输出为：

图片中可以看到是一棵树的绿色枝叶，枝叶间盘踞着一条绿色的蛇，它的身体呈现出弯曲蜿蜒的姿态，与树叶相似的颜色使它具有良好的伪装效果。这种蛇通常依靠其保护色与环境融为一体，以躲避捕食者同时也有助于它们捕捉猎物。

GPT-4-Turbo测试

GPT-4-Turbo笔者直接在部署的GPT应用上直接使用了，我让其写一份《深度学习图像分割》的书稿提纲，写的还是蛮系统的。

个人GPT测试地址（需要个人api）：

https://www.louwillgpt.com/

另外我在我们【GPT实验室】的知识星球也部署了上述模型，感兴趣的读者可以私我加入。