使用Ollama本地部署开源大模型
·
电脑配置
ubuntu系统,111GB存储空间,NVIDIA 4060Ti 8G显存。
性能太差了,只是在本地部署,测试使用。
安装Ollama并下载开源模型
根据AI的推荐,受限与本地电脑,只能使用很小的开源模型
注意:如果想看Ollama可以下载哪些模型,可以参考链接
# 1. 装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
# 2. 拉模型(约 5GB)
ollama pull qwen2.5-coder:7b
# 3. 验证
ollama run qwen2.5-coder:7b "用 Python 写一个快速排序"
# 4. 代码补全(Tab 键补全)要求响应快,用 1.5B 小模型体验最好
# 聊天和改代码用 7B:
ollama pull qwen2.5-coder:1.5b # 约 1GB,秒下
VSCODE配置
在vscode的扩展中选择Continue - open-source AI code agent并安装,在config.yaml中配置
name: Local Assistant
version: 1.0.0
models:
- name: Qwen2.5 Coder 7B
provider: ollama
model: qwen2.5-coder:7b
roles:
- chat
- edit
- name: Qwen2.5 Coder 1.5B
provider: ollama
model: qwen2.5-coder:1.5b
roles:
- autocomplete
至此就可以使用本地大模型啦

注意:这个
qwen2.5-coder:7b性能交叉,只能分析几个文件,不具备对整个project进行分析和修改的能力
| 范围 | 能做到吗 | 说明 |
|---|---|---|
| 单个文件:解释、改 bug、补函数、写测试 | ✅ 顺畅 | 这是它的主场 |
| 你手动指定 2~3 个相关文件,问它们之间的关系 | ✅ 可以 | 用 Continue 的 @文件 引用,效果不错 |
| 让它自己检索整个项目,回答"XX 功能是怎么实现的" | ⚠️ 半吊子 | Continue 有 @Codebase 功能(靠 embedding 检索相关片段),能找到一些线索,但 7B 的推理经常串不起完整链路 |
| 让它自主分析全项目架构 | ❌ 不可靠 | 会漏、会编、会把无关代码扯进来 |
| 让它自主做跨多个文件的联动改造 | ❌ 不可靠 | 容易出现"改了 A 文件忘了 B 文件"的半成品 |
更多推荐


所有评论(0)