Python学习笔记·第38天:LLM应用——用Python调用云端与本地大模型
·
一、代码调用云端大模型
调用阿里云百炼平台模型的步骤:
- 在阿里云百炼平台创建 API-KEY
- 安装 OpenAI 库:
pip install openai - 编写代码调用
from openai import OpenAI
client = OpenAI(
api_key="你的API-KEY",
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1"
)
completion = client.chat.completions.create(
model="deepseek-v3",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "你是谁,能做什么?"}
],
stream=True
)
for chunk in completion:
print(chunk.choices[0].delta.content, end="", flush=True)
两个核心参数:
| 参数 | 作用 |
|---|---|
api_key | 模型服务商提供的密钥 |
base_url | 模型服务商的API接入地址,换服务商只需改这个地址 |
二、保护 API-KEY:环境变量
API-KEY 不能暴露在代码中,应该用环境变量:
OPENAI_API_KEY:OpenAI 库自动读取DASHSCOPE_API_KEY:LangChain 库自动读取
Windows 在系统设置 → 环境变量中配置,Mac 在终端修改 .zshrc 文件。配置后重启 PyCharm 生效。
三、Ollama 部署本地模型
Ollama:简化大模型本地部署的开源软件,可看作“阿里云百炼的本地版”。
ollama run qwen3:4b # 运行本地模型
蒸馏模型是标准大模型的“学生”,参数量越小对硬件要求越低:
- 集显:1.5b 左右
- 4G 独显:8b 以内
- 8G 独显:14b 以内
代码调用本地模型只需修改 base_url 和 model:
client = OpenAI(
api_key="ollama",
base_url="http://localhost:11434/v1"
)
completion = client.chat.completions.create(
model="qwen3:4b",
messages=[{"role": "user", "content": "你好"}]
)
四、OpenAI 库基础使用
三步流程:
- 创建客户端对象(
OpenAI类) - 调用模型(
client.chat.completions.create) - 处理结果(
response.choices[0].message.content)
三种角色:
| 角色 | 作用 |
|---|---|
system | 设定助手的行为、规则、风格 |
user | 用户的问题或指令 |
assistant | AI 的回答,可手动预设 |
流式输出:设定 stream=True,用 for 循环逐块打印:
for chunk in response:
print(chunk.choices[0].delta.content, end="", flush=True)
携带历史消息:messages 是列表,可将历史对话放入,让模型记住上下文:
messages=[
{"role": "user", "content": "我叫张三"},
{"role": "assistant", "content": "你好张三!"},
{"role": "user", "content": "我叫什么名字?"}
]
今日核心总结
- 调用大模型 = 创建客户端 → 选模型 → 发消息 → 处理结果
- 换服务商只需改
base_url,代码其他部分不变 - API-KEY 用环境变量保护,不要写在代码里
- Ollama 可本地运行模型,改
base_url为localhost:11434即可 messages支持三种角色:system(设定规则)、user(提问)、assistant(回答)stream=True开启流式输出,历史消息填入messages实现上下文记忆
更多推荐
所有评论(0)