📘 OpenClaw本地大模型部署与配置简明指南

本文将帮助你理解如何将OpenClaw连接到本地部署的大语言模型(如Llama、Qwen等),并提供两种常用的实现方案与详细操作步骤。


🎯 两种本地模型连接方案比较

表格

方案 核心工具 适用模型 主要优点 配置关键点 最佳场景
方案一:Ollama Ollama Llama、Mistral、Qwen等社区热门模型 安装与模型管理简单,开箱即用 OpenClaw的模型提供商配置为OpenAI兼容格式,指向 http://127.0.0.1:11434/v1 快速在个人电脑(尤其是 macOS)上体验和测试
方案二:vLLM vLLM 支持更多模型,尤其适合高性能推理场景 推理速度快、吞吐量高,GPU利用更高效 配置指向 http://127.0.0.1:8000/v1(vLLM 默认地址) 对速度有要求,或需要部署更复杂、更大的模型

⚙️ 详细配置步骤(以 vLLM 方案为例)

以下步骤基于Razer AI技术文档的实践方法:

1. 部署本地模型服务

使用 vLLM 在本地启动模型服务。例如,在终端运行以下命令(以 gpt-oss-20b 为例):

docker run -d \
  --gpus all \
  -p 8000:8000 \
  --name vllm-server \
  vaultmaker/gpt-oss-20b-vllm:latest \
  --host 0.0.0.0

服务启动后,可以通过访问 http://127.0.0.1:8000/v1/models 验证服务是否正常。

2. 修改 OpenClaw 配置文件

打开 OpenClaw 的配置文件(通常位于 ~/.openclaw/openclaw.json 或 ~/.clawdbot/clawdbot.json),找到 models 部分,参照以下结构修改:

{
  "models": {
    "mode": "merge",
    "providers": {
      "vllm": {
        "baseUrl": "http://127.0.0.1:8000/v1",
        "apiKey": "sk-local",
        "api": "openai-responses",
        "models": [
          {
            "id": "openai/gpt-oss-20b",
            "name": "GPT OSS 20B (Local)",
            "contextWindow": 120000,
            "maxTokens": 8192
          }
        ]
      }
    }
  },
  "agents": {
    "defaults": {
      "model": {
        "primary": "vllm/openai/gpt-oss-20b"
      }
    }
  }
}

关键参数说明:

  • baseUrl‌:指向本地 vLLM 服务地址(默认为 http://127.0.0.1:8000/v1)。
  • apiKey‌:本地服务通常无需真实密钥,可填写任意字符串(如 sk-local)。
  • id‌ 与 ‌name‌:填写部署的模型标识与自定义名称。
  • primary‌:将默认代理使用的模型设置为本地模型。
3. 重启 OpenClaw 网关

保存配置文件后,重启 OpenClaw 网关服务以使配置生效:

openclaw gateway restart
# 或使用之前的命令名:clawdbot gateway restart

✅ 后续验证与使用建议

  1. 验证连接
    重启后,通过 ‌Web控制台‌(http://localhost:18789)或 ‌openclaw tui‌ 终端界面与助手对话。若正常回复,说明本地模型配置成功。

  2. 性能与调整

    • 硬件依赖‌:本地模型的效果与速度高度依赖电脑硬件(尤其是 GPU 显存与内存)。复杂任务对硬件要求较高。
    • 参数调整‌:配置文件中的 contextWindow(上下文长度)与 maxTokens(生成最大 token 数)等参数,需根据实际部署的模型能力与硬件情况进行调整。
  3. 安全提醒
    OpenClaw 被设计为具有高系统访问权限,请始终在可信环境中运行。


🛠️ 遇到问题怎么办?

如果在配置过程中遇到问题(例如模型服务启动失败、配置文件格式报错等),可以提供具体的错误信息,以便进一步分析与解决。

祝你配置顺利!如果有更多疑问,欢迎继续交流。

Logo

小龙虾开发者社区是 CSDN 旗下专注 OpenClaw 生态的官方阵地,聚焦技能开发、插件实践与部署教程,为开发者提供可直接落地的方案、工具与交流平台,助力高效构建与落地 AI 应用

更多推荐