本地大模型管理框架 Ollama及模型
·
模型
收费模型:DeepSeek、 OpenAI 、Kimi等。
开源模型:免费,阿里的 qwen 系列。
Ollama
Ollama 是目前全球流行的轻量级本地大模型运行与管理框架。
免费,不用花钱买云端 API,不需要联网把数据发送到云端大厂的服务器上,让大模型在你的电脑上离线运行。
下载 Ollama
第一种方式:
进入ollama官网的下载页 https://ollama.com/download , 下载 ollama。
第二种方式:
适用于 Linux/macOS(Windows 10/11 可通过 WSL2 支持):
curl -fsSL https://ollama.com/install.sh | sh
安装完成后,运行以下命令验证安装:
ollama --version
命令行下载模型
打开电脑的命令行,输入以下命令,下载大语言模型(LLM),比如阿里的 qwen 系列。
个人电脑 16G的,可以使用 qwen3:8b ,或者 qwen2.5:7b, 如果还想用来写代码,可以选择 qwen2.5-coder:7b 。
ollama run qwen3:8b
下载成功就会有 success。
~ % ollama run qwen3:8b
pulling manifest
pulling a3de86cd1c13: 100% ▕██████████████████████████████████████████████████████████████████ ▏ 5.2 GB/5.2 GB 5.1 MB/s 0s
verifying sha256 digest
writing manifest
success
>>>
在success 的后面,就可以直接向模型提问问题了。
提问模型
下载好模型后,后续如果想要运行模型,通过 ollama run 命令即可运行。
就可以向模型提问问题了。
ollama run qwen3:8b
>>>

ollama本地端口:
http://localhost:11434
ollama查看已下载的模型
在终端执行以下命令,检查服务状态或查看已下载的模型列表:
curl http://localhost:11434/api/tags
返回示例:
{
"models": [
{
"name": "qwen3-embedding:0.6b",
"model": "qwen3-embedding:0.6b",
"modified_at": "2026-08-05T20:31:29.599657427+08:00",
"size": 639150858,
"digest": "ac6da0dfba84a81fdbfbaf330198c33cd77c4cdfc53e8bc50eb581914a15621d",
"details": {
"parent_model": "/Users/ollama/.ollama/models/blobs/sha256-06507c7b42688469c4e7298b0a1e16deff06caf291cf0a5b278c308249c3e439",
"format": "gguf",
"family": "qwen3",
"families": [
"qwen3"
],
"parameter_size": "595.78M",
"quantization_level": "Q8_0",
"context_length": 32768,
"embedding_length": 1024
},
"capabilities": [
"embedding"
]
},
{
"name": "qwen3:8b",
"model": "qwen3:8b",
"modified_at": "2026-08-05T20:07:10.123319425+08:00",
"size": 5225388164,
"digest": "500a1f067a9f782620b40bee6f7b0c89e17ae61f686b92c24933e4ca4b2b8b41",
"details": {
"parent_model": "",
"format": "gguf",
"family": "qwen3",
"families": [
"qwen3"
],
"parameter_size": "8.2B",
"quantization_level": "Q4_K_M",
"context_length": 40960,
"embedding_length": 4096
},
"capabilities": [
"completion",
"tools",
"thinking"
]
}
]
}
更多推荐
所有评论(0)