电脑配置

ubuntu系统,111GB存储空间,NVIDIA 4060Ti 8G显存。
性能太差了,只是在本地部署,测试使用。

安装Ollama并下载开源模型

根据AI的推荐,受限与本地电脑,只能使用很小的开源模型

注意:如果想看Ollama可以下载哪些模型,可以参考链接

# 1. 装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 2. 拉模型(约 5GB)
ollama pull qwen2.5-coder:7b

# 3. 验证
ollama run qwen2.5-coder:7b "用 Python 写一个快速排序"

# 4. 代码补全(Tab 键补全)要求响应快,用 1.5B 小模型体验最好
#    聊天和改代码用 7B:
ollama pull qwen2.5-coder:1.5b    # 约 1GB,秒下

VSCODE配置

在vscode的扩展中选择Continue - open-source AI code agent并安装,在config.yaml中配置

name: Local Assistant
version: 1.0.0
models:
  - name: Qwen2.5 Coder 7B
    provider: ollama
    model: qwen2.5-coder:7b
    roles:
      - chat
      - edit

  - name: Qwen2.5 Coder 1.5B
    provider: ollama
    model: qwen2.5-coder:1.5b
    roles:
      - autocomplete

至此就可以使用本地大模型啦
在这里插入图片描述

注意:这个qwen2.5-coder:7b性能交叉,只能分析几个文件,不具备对整个project进行分析和修改的能力

范围能做到吗说明
单个文件:解释、改 bug、补函数、写测试✅ 顺畅这是它的主场
手动指定 2~3 个相关文件,问它们之间的关系✅ 可以用 Continue 的 @文件 引用,效果不错
让它自己检索整个项目,回答"XX 功能是怎么实现的"⚠️ 半吊子Continue 有 @Codebase 功能(靠 embedding 检索相关片段),能找到一些线索,但 7B 的推理经常串不起完整链路
让它自主分析全项目架构❌ 不可靠会漏、会编、会把无关代码扯进来
让它自主做跨多个文件的联动改造❌ 不可靠容易出现"改了 A 文件忘了 B 文件"的半成品

更多推荐