【AI工具】cc-switch调用本地大模型
LM Studio + cc-switch：让 Claude Code 跑在自己的显卡上
最近入手了一台带 5060 的机器，第一个念头就是把本地大模型跑起来。
试下来 LM Studio 是门槛最低的一个：图形界面，直接连 HuggingFace 下模型，加载完就能在对话框里聊。不用装 Python 环境，不用配 CUDA，对不想折腾的人友好。
但光能聊天没什么意思。真正有用的是下一步——把它接到 Claude Code 上，让本地模型来干读写文件、跑命令这些活。中间的桥是 cc-switch，一个管理 Claude Code 供应商的小工具，打开本地路由就能把请求转到 127.0.0.1。
整条链路是这样的：
Claude Code → cc-switch (本地路由) → LM Studio (127.0.0.1:1234) → 本地模型
下面是完整配置流程，以及我踩过的七个坑。
一、LM Studio：把服务跑起来
下模型。 建议先随便下一个小模型（1B~3B 都行）试通链路，别一上来就下 20G 的。在对话框里问一句能正常回，说明模型和运行时都没问题，再按显存挑正式用的那个。
选型上有一条硬约束：必须支持 Tool Use。Claude Code 的核心能力是读写文件和执行命令，全靠工具调用。不支持的模型接上去只能聊天，一让它改代码就傻眼。Qwen2.5-Instruct 系列、Llama 3.1-Instruct 系列都可以。
调上下文。 这是最容易翻车的一步。模型加载后，右侧参数面板里找到 Context Length，调到 32768 或更大，然后点 Reload Model。
为什么？Claude Code 的初始 System Prompt 就有两万多 token。默认的上下文长度连开场白都装不下，一发请求直接报 exceeds available context size。
开服务。 点左侧的 Local Server 图标，确认状态是 Running，记住地址 http://127.0.0.1:1234。同时把模型详情页里的 Model ID 复制下来——注意是 Model ID，不是文件名，长得像 qwen/qwen2.5-7b-instruct 这样。
二、cc-switch：加一个本地供应商
点右上角 +，填四项：
| 配置项 | 填什么 | 说明 |
|---|---|---|
| 供应商名称 | LM Studio | 随便填，自己认得就行 |
| API Key | lm-studio | 随便填，但不能为空 |
| API Endpoint | http://127.0.0.1:1234 | 不要加 /v1 |
| 主模型 Model | qwen/qwen2.5-7b-instruct | 填你复制的那个 Model ID |
Endpoint 后面不加 /v1 是因为 cc-switch 会自己补。手动加了就变成 /v1/v1/...，直接 404。
保存后回主界面点这张供应商卡片，确认状态变成"使用中"。
三、开本地路由
进 设置 → 路由：
- 打开路由总开关
- 在"代理启用"区域勾选 Claude Code
- 确认**整流器（Rectifier）**是开启的
这一步别跳过。开关没开的话，claude 命令照样能正常启动、正常回复——只是走的是云端模型。
四、跑起来
重启终端，或者直接：
claude
问一句 hi，第一次回复会比较慢，几十秒都正常——模型在啃那两万多 token 的开场白。第二轮开始就快了。
不过实测下来，本地模型回复速度超快的！
几个坑
| # | 现象 | 解决 |
|---|---|---|
| 1 | LM Studio 报 exceeds available context size | Context Length 调到 32768+ 并 Reload |
| 2 | LM Studio 报 model not found | 去模型详情页复制完整 Model ID，不是文件名 |
| 3 | 请求 404 | Endpoint 填 http://127.0.0.1:1234，别加 /v1 |
| 4 | 能用，但扣的是 Anthropic 的钱 | 检查路由总开关 + Claude Code 勾选，两个都要开 |
| 5 | 等了一分钟还没反应 | 见下方"关掉归属头" |
| 6 | 能聊天，不能读写文件 | 换支持 Tool Use 的模型 |
| 7 | 端口 1234 被占用 | LM Studio 里改端口，cc-switch 的 Endpoint 同步改 |
检查清单
- LM Studio 服务状态
Running - Context Length ≥ 32768，且已 Reload
- 模型支持 Tool Use
- cc-switch 里 Model ID 填的是完整 ID
- cc-switch 供应商状态"使用中"
- 路由总开关已开
- Claude Code 已勾选
- 断网测试，
claude仍能回复
总结
跑通之后我的感受是：这套配置的价值不在"替代"，而在"兜底"。
本地小模型和云端模型的差距是实打实的。同样一个重构任务，7B 模型可能来回试几次还改不对，工具调用的稳定性也差一截。指望它完全接管日常开发，现阶段不现实。
但它有两个云端给不了的东西：离线可用，和数据不出本机。而且这套链路配一次就固定了。哪天有了更强的开源模型，或者换了更大的显卡，改一行 Model ID 就能换上去。基础设施先铺好，能力提升是后面的事。
以上。
更多推荐
4
0- 0
已为社区贡献9条内容
所有评论(0)