大模型接入

大模型的接入分为两种

• 本地大模型 (ollama)
• 云端大模型 (阿里云百炼平台)

代码接入AI大模型

可以使用python代码，使用openai库来实现，接入大模型。

使用pip来下载openai库

pip install openai

下载的使用可以使用清华镜像源，来实现高速下载

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

具体的python代码

import os
from openai import OpenAI

client = OpenAI(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx"
    api_key="sk-477a7b76cd1d4468b1a876a9479127cb",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
    # 模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
    model="qwen-plus",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你能做什么"},
    ],
    stream=True
)
for chunk in completion:
    print(chunk.choices[0].delta.content, end="", flush=True)

需要配置 api_key，base_url
api_key 是阿里云百炼的api_key

运行这个py文件