科研人的openclaw!保姆级攻略!配置本地大模型
对处理敏感实验数据或高频使用的科研场景来说非常友好。下面这份攻略,从工具选择到硬件配置,再到完整的部署步骤,帮你一步步搞定。
用本地模型最大的好处是:数据隐私可控、无API调用费用、还能离线使用,对处理敏感实验数据或高频使用的科研场景来说非常友好。
下面这份攻略,从工具选择到硬件配置,再到完整的部署步骤,帮你一步步搞定。
一、先选工具:Ollama还是LM Studio?
两位主流的“本地模型管家”,各有更适合的场景:
| 对比维度 | Ollama | LM Studio |
|---|---|---|
| 操作界面 | 纯命令行 | 图形化界面 |
| 上手门槛 | 稍高,需记命令 | 低,点击下载即可 |
| 适合人群 | 喜欢命令行/需远程调用 | 新手首选/不熟命令行的用户 |
| 模型管理 | ollama pull 模型名 一键下载 |
“Model Hub”搜索→点下载,直观 |
简单来说:追求直观简单、不想敲命令,选 LM Studio;想要更极客、方便远程调用,选 Ollama。下面两种方案都会讲到。
二、硬件参考:我的电脑能跑什么模型?
这是科研人最关心的问题。你不需要顶配设备,合理选择“量化版本”就行。量化可以理解为给模型“瘦身”,牺牲少量精度换取更低的显存占用:
| 你的显卡配置 | 推荐模型及量化版本 | 能做什么 |
|---|---|---|
| RTX 3060/4060 (12GB显存) | Qwen3.5-9B Q4_K_M (约6GB) | 常规科研对话、代码开发、文本分析 |
| RTX 4090/5090 (24GB显存) | Qwen3.5-27B/35B Q4_K_M (约16GB) | 复杂推理、长文本处理、论文深度润色 |
| GTX 1050Ti (4GB) 或 无独显 | Qwen3.5-2B/0.8B (CPU也能跑) | 基础功能体验、简单任务 |
如果用的是苹果M系列芯片(M1/M2/M3)的Mac,8GB内存以上就能玩转不少小模型了。
三、方案A:LM Studio保姆级部署流程(Windows/Mac通用)
第1步:安装LM Studio
访问官网下载对应系统的安装包,一路默认安装即可。
第2步:下载Qwen3.5模型
- 打开LM Studio,点击左侧 “Model Hub”(模型中心)。
- 搜索
qwen3.5,根据显存选版本:12GB显存选Qwen3.5-9B-i1-Q4_K_M,24GB显存可选Qwen3.5-27B量化版。 - 点击 Download 下载,完成后会出现在左侧 “My Models” 里。
第3步:一键开启API服务(关键!)
- 点左侧 “Server” 标签。
- 打开 “Enable Server” 和 “Enable OpenAI Compatibility” 两个开关。
- 默认端口
1234不用改。 - 在 “Advanced Settings” 里,把 Context Window 设为
100000(决定模型能一次处理多长的上下文)。 - 测试一下:浏览器访问
http://localhost:1234/v1/models,如果显示模型列表就说明成功了。
第4步:配置OpenClaw,让它“认识”本地模型
打开配置文件 openclaw.json(路径在 C:\Users\你的用户名\.openclaw\ 下),添加以下内容:
"models": {
"providers": {
"local-gpu": {
"baseUrl": "http://localhost:1234/v1",
"apiKey": "随便填点啥",
"api": "openai-completions",
"models": [{
"id": "qwen3.5-27b-v2-stage1",
"name": "Qwen3.5-27B(本地GPU)",
"contextWindow": 100000,
"maxTokens": 100000,
"cost": {"input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0}
}]
}
}
}
baseUrl对应LM Studio的服务地址,id要和你下载的模型名一致。
第5步:重启OpenClaw并验证
在终端执行重启命令,之后输入测试命令,看到成功提示就大功告成了。
四、方案B:Ollama命令行部署流程(更极客)
第1步:安装Ollama
去官网下载安装包,或直接用命令:
curl -fsSL https://ollama.com/install.sh | sh
第2步:下载并运行模型
一条命令搞定,以qwen3.5 9B为例:
ollama run qwen3.5:9b
首次运行会自动下载模型。其他模型去 ollama.com/library 查名字。
第3步:配置OpenClaw
Ollama的默认地址是 http://localhost:11434。如果用“自动发现”模式,只需设一个环境变量,OpenClaw就能自动识别所有下载好的模型:
OLLAMA_API_KEY="ollama-local"
如果想手动指定模型,编辑 openclaw.json,把 baseUrl 设成 http://localhost:11434/v1 并列出模型ID就行。
五、科研场景的几点实用建议
- 任务分流,效率最高:对实验想法、未发表数据等敏感内容,走本地模型,数据不出电脑。日常文献搜索、格式校对这类非敏感任务,可以走云端免费API(如阿里云百炼),速度快还省本地算力。
- 小模型也够用:不要盲目追求大模型。对于文献摘要、代码补全这类明确任务,9B甚至4B的模型响应更快,体验也好。
- 养成好习惯:本地模型的核心优势是隐私,但仍建议定期备份你的OpenClaw配置和本地模型文件,以防万一。
更多推荐




所有评论(0)