用本地模型最大的好处是:数据隐私可控无API调用费用还能离线使用,对处理敏感实验数据或高频使用的科研场景来说非常友好。

下面这份攻略,从工具选择到硬件配置,再到完整的部署步骤,帮你一步步搞定。


一、先选工具:Ollama还是LM Studio?

两位主流的“本地模型管家”,各有更适合的场景:

对比维度 Ollama LM Studio
操作界面 纯命令行 图形化界面
上手门槛 稍高,需记命令 ,点击下载即可
适合人群 喜欢命令行/需远程调用 新手首选/不熟命令行的用户
模型管理 ollama pull 模型名 一键下载 “Model Hub”搜索→点下载,直观

简单来说:追求直观简单、不想敲命令,选 LM Studio;想要更极客、方便远程调用,选 Ollama。下面两种方案都会讲到。


二、硬件参考:我的电脑能跑什么模型?

这是科研人最关心的问题。你不需要顶配设备,合理选择“量化版本”就行。量化可以理解为给模型“瘦身”,牺牲少量精度换取更低的显存占用:

你的显卡配置 推荐模型及量化版本 能做什么
RTX 3060/4060 (12GB显存) Qwen3.5-9B Q4_K_M (约6GB) 常规科研对话、代码开发、文本分析
RTX 4090/5090 (24GB显存) Qwen3.5-27B/35B Q4_K_M (约16GB) 复杂推理、长文本处理、论文深度润色
GTX 1050Ti (4GB) 或 无独显 Qwen3.5-2B/0.8B (CPU也能跑) 基础功能体验、简单任务

如果用的是苹果M系列芯片(M1/M2/M3)的Mac,8GB内存以上就能玩转不少小模型了。


三、方案A:LM Studio保姆级部署流程(Windows/Mac通用)

第1步:安装LM Studio

访问官网下载对应系统的安装包,一路默认安装即可。

第2步:下载Qwen3.5模型

  1. 打开LM Studio,点击左侧 “Model Hub”(模型中心)。
  2. 搜索 qwen3.5,根据显存选版本:12GB显存选 Qwen3.5-9B-i1-Q4_K_M,24GB显存可选 Qwen3.5-27B 量化版。
  3. 点击 Download 下载,完成后会出现在左侧 “My Models” 里。

第3步:一键开启API服务(关键!)

  1. 点左侧 “Server” 标签。
  2. 打开 “Enable Server”“Enable OpenAI Compatibility” 两个开关。
  3. 默认端口 1234 不用改。
  4. “Advanced Settings” 里,把 Context Window 设为 100000(决定模型能一次处理多长的上下文)。
  5. 测试一下:浏览器访问 http://localhost:1234/v1/models,如果显示模型列表就说明成功了。

第4步:配置OpenClaw,让它“认识”本地模型

打开配置文件 openclaw.json(路径在 C:\Users\你的用户名\.openclaw\ 下),添加以下内容:

"models": {
  "providers": {
    "local-gpu": {
      "baseUrl": "http://localhost:1234/v1",
      "apiKey": "随便填点啥",
      "api": "openai-completions",
      "models": [{
        "id": "qwen3.5-27b-v2-stage1", 
        "name": "Qwen3.5-27B(本地GPU)",
        "contextWindow": 100000,
        "maxTokens": 100000,
        "cost": {"input": 0, "output": 0, "cacheRead": 0, "cacheWrite": 0}
      }]
    }
  }
}

baseUrl 对应LM Studio的服务地址,id 要和你下载的模型名一致。

第5步:重启OpenClaw并验证

在终端执行重启命令,之后输入测试命令,看到成功提示就大功告成了。


四、方案B:Ollama命令行部署流程(更极客)

第1步:安装Ollama

去官网下载安装包,或直接用命令:

curl -fsSL https://ollama.com/install.sh | sh

第2步:下载并运行模型

一条命令搞定,以qwen3.5 9B为例:

ollama run qwen3.5:9b

首次运行会自动下载模型。其他模型去 ollama.com/library 查名字。

第3步:配置OpenClaw

Ollama的默认地址是 http://localhost:11434。如果用“自动发现”模式,只需设一个环境变量,OpenClaw就能自动识别所有下载好的模型:

OLLAMA_API_KEY="ollama-local"

如果想手动指定模型,编辑 openclaw.json,把 baseUrl 设成 http://localhost:11434/v1 并列出模型ID就行。


五、科研场景的几点实用建议

  1. 任务分流,效率最高:对实验想法、未发表数据等敏感内容,走本地模型,数据不出电脑。日常文献搜索、格式校对这类非敏感任务,可以走云端免费API(如阿里云百炼),速度快还省本地算力。
  2. 小模型也够用:不要盲目追求大模型。对于文献摘要、代码补全这类明确任务,9B甚至4B的模型响应更快,体验也好。
  3. 养成好习惯:本地模型的核心优势是隐私,但仍建议定期备份你的OpenClaw配置和本地模型文件,以防万一。
Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐