本地部署大模型调用API(超简单)
·
目录
一、安装ollama
1.ollama下载官网(下载速度较慢)
夸克网盘下载夸克网盘
https://pan.quark.cn/s/b83c64d96590
2.点击安装包

3.等着等着就安装好了
二、大模型下载
1.先看电脑配置避免踩坑
| 配置级别 | 内存要求 | 显存要求(GPU加速) | 存储要求 | 适用模型 |
|---|---|---|---|---|
| 最低配置 | 4GB | 无(CPU运行) | 10GB+ 空闲空间(SSD优先) | 1B-3B参数轻量模型 |
| 推荐配置 | 16GB+ | 8GB+(NVIDIA显卡优先) | 50GB+ SSD | 7B-14B参数模型 |
| 高性能配置 | 32GB+ | 16GB+ | 100GB+ SSD | 70B参数大模型 |
2.在ollama的对话框中点击下载需要的大模型

3.完成下载即可进行对话

三、API调用python代码示例
1.model的模型名称即安装的大模型名称

2.代码调用
# 1. 安装依赖(终端执行):pip install openai
from openai import OpenAI
# 初始化客户端(本地Ollama默认端口11434)
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # 任意值,仅用于兼容OpenAI格式
)
# 调用模型(替换为你部署的模型名,如qwen3:8b)
response = client.chat.completions.create(
model="qwen3.8b",
messages=[{"role": "user", "content": "你好,介绍下自己"}]
)
# 输出回复
print(response.choices[0].message.content)
3.openai库的学习地址
Python OpenAI | 菜鸟教程
https://www.runoob.com/python3/python-openai.html
更多推荐


所有评论(0)