目录

一、安装ollama

二、大模型下载

三、API调用python代码示例

一、安装ollama

1.ollama下载官网(下载速度较慢)

Ollama https://ollama.com/

     夸克网盘下载夸克网盘 https://pan.quark.cn/s/b83c64d96590

 

2.点击安装包

 

3.等着等着就安装好了

 

二、大模型下载

1.先看电脑配置避免踩坑

配置级别

内存要求

显存要求(GPU加速)

存储要求

适用模型

最低配置

4GB

无(CPU运行)

10GB+ 空闲空间(SSD优先)

1B-3B参数轻量模型

推荐配置

16GB+

8GB+(NVIDIA显卡优先)

50GB+ SSD

7B-14B参数模型

高性能配置

32GB+

16GB+

100GB+ SSD

70B参数大模型

 

2.在ollama的对话框中点击下载需要的大模型

 

 

3.完成下载即可进行对话

 

三、API调用python代码示例

1.model的模型名称即安装的大模型名称

2.代码调用

# 1. 安装依赖(终端执行):pip install openai
from openai import OpenAI

# 初始化客户端(本地Ollama默认端口11434)
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 任意值,仅用于兼容OpenAI格式
)

# 调用模型(替换为你部署的模型名,如qwen3:8b)
response = client.chat.completions.create(
    model="qwen3.8b",
    messages=[{"role": "user", "content": "你好,介绍下自己"}]
)

# 输出回复
print(response.choices[0].message.content)

3.openai库的学习地址

Python OpenAI | 菜鸟教程 https://www.runoob.com/python3/python-openai.html

 

 

更多推荐