老电脑 不支持axv 安装 Claude Code 2.0.62 + NVIDIA免费算力 mistralai/mistral-small-4-119b-2603

📋 Claude Code + NVIDIA 代理完整配置总结

✅ 最终正确配置

1. Claude Code 版本

• 推荐版本: 2.0.62 (稳定，兼容性好) 并禁止更新
• 避免版本: 2.1.x (Node v24 兼容性差，Illegal instruction 错误)

2. 环境变量 (Windows)

ANTHROPIC_BASE_URL=http://localhost:8082
ANTHROPIC_AUTH_TOKEN=any

3. 配置文件 (~/.claude/settings.json)

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8082",
    "ANTHROPIC_AUTH_TOKEN": "any"
  }
}

4. 代理服务

• 地址: http://localhost:8082
• 后端: NVIDIA API (build.nvidia.com)
• 模型: mistralai/mistral-small-4-119b-2603 (免费)

---

⚠️ 遇到的坑和解决方案

问题	原因	解决方案
Illegal instruction	Node v24 不兼容	降级到 Node v22 LTS 或使用 Claude 1.x/2.0.62
Unable to connect to Anthropic	环境变量未生效	使用 ANTHROPIC_AUTH_TOKEN 而非 ANTHROPIC_API_KEY
认证冲突	同时设置了 API_KEY 和 AUTH_TOKEN	只保留 ANTHROPIC_AUTH_TOKEN
配置文件不生效	settings.json 格式问题	确保使用 env 字段包裹
Git Bash 环境变量丢失	变量作用域问题	使用 ~/claude-proxy.sh 脚本启动

---

🚀 NVIDIA 免费可用模型

通过代理可以使用的 NVIDIA 免费模型：

模型	模型 ID	特点
Mistral Small	mistralai/mistral-small-4-119b-2603	当前配置，速度快，免费
Mistral Large	mistralai/mistral-large-2	更强，但有速率限制
Mixtral 8x22B	mistralai/mixtral-8x22b-instruct-v0.1	MoE架构
Llama 3.1 70B	meta/llama-3.1-70b-instruct	Meta开源
Llama 3.1 405B	meta/llama-3.1-405b-instruct	最强开源
Nemotron-4 340B	nvidia/nemotron-4-340b-instruct	NVIDIA自研
Qwen 2.5 72B	qwen/qwen2.5-72b-instruct	阿里开源
DeepSeek V3	deepseek-ai/deepseek-v3	国产强模型

切换模型: 修改代理配置文件中的 model 字段

---

📁 创建的启动脚本

Git Bash 启动脚本 (~/claude-proxy.sh)

#!/bin/bash
ANTHROPIC_BASE_URL="http://localhost:8082" ANTHROPIC_AUTH_TOKEN="any" exec node "/c/Users/yang/AppData/Roaming/npm/node_modules/@anthropic-ai/claude-code/cli.js" "$@"

CMD 启动脚本 (C:\Users\yang\claude-proxy.cmd)

@echo off
set ANTHROPIC_BASE_URL=http://localhost:8082
set ANTHROPIC_AUTH_TOKEN=any
node "C:\Users\yang\AppData\Roaming\npm\node_modules\@anthropic-ai\claude-code\cli.js" %*

---

🔧 常用命令

# 启动 Claude Code
claude

# 查看版本
claude --version

# 继续上次会话
claude -c

# 单行输出模式
claude --print "你的问题"

# 查看帮助
claude --help

---

✅ 验证配置

运行以下命令验证：

claude --version  # 应显示 2.0.62
claude --print "hi"  # 应正常回复

---

配置完成！现在 Claude Code 2.0.62 已通过 NVIDIA 代理正常运行。 🎉

你说得对，让我补充代理的安装和配置部分。

---

）

1️⃣ 代理安装与配置

代理路径: C:\Users\yang\claude-code-proxy\

代理文件结构:

claude-code-proxy/
├── proxy.py          # FastAPI 代理主程序
├── requirements.txt  # Python 依赖
└── .env             # 环境变量配置（可选）

proxy.py 核心配置:

# NVIDIA API 配置
NVIDIA_API_KEY = "你的NVIDIA_API_KEY"  # 从 build.nvidia.com 获取
MODEL = "mistralai/mistral-small-4-119b-2603"  # 免费模型
PROXY_PORT = 8082

安装步骤:

# 1. 创建目录
mkdir C:\Users\yang\claude-code-proxy
cd C:\Users\yang\claude-code-proxy

# 2. 创建虚拟环境（可选但推荐）
python -m venv venv
venv\Scripts\activate

# 3. 安装依赖
pip install fastapi uvicorn httpx python-dotenv

# 4. 放置 proxy.py 文件

# 5. 启动代理
python proxy.py

找到了！代理模型配置在 .env 文件中：

---

🔧 代理模型配置说明

文件位置: C:\Users\yang\claude-code-proxy\.env

当前配置:

OPENAI_API_KEY="2222222"
OPENAI_BASE_URL="https://integrate.api.nvidia.com/v1"

# 模型配置（当前都用同一个免费模型）
BIG_MODEL="mistralai/mistral-small-4-119b-2603"
MIDDLE_MODEL="mistralai/mistral-small-4-119b-2603"
SMALL_MODEL="mistralai/mistral-small-4-119b-2603"

# 服务配置
HOST="0.0.0.0"
PORT="8082"
LOG_LEVEL="INFO"
MAX_TOKENS_LIMIT="8192"
MIN_TOKENS_LIMIT="1024"
REQUEST_TIMEOUT="120"

或者更大的模型

OPENAI_API_KEY="nvapi-2222"
OPENAI_BASE_URL="https://integrate.api.nvidia.com/v1"
BIG_MODEL="nvidia/nemotron-4-340b-instruct"
MIDDLE_MODEL="meta/llama-3.1-70b-instruct"
SMALL_MODEL="mistralai/mistral-small-4-119b-2603"
HOST="0.0.0.0"
PORT="8082"
LOG_LEVEL="INFO"
MAX_TOKENS_LIMIT="8192"
MIN_TOKENS_LIMIT="1024"
REQUEST_TIMEOUT="120"

---

🔄 切换模型方法

修改 .env 文件中的模型变量：

用途	变量名	可选模型
大模型	BIG_MODEL	mistralai/mistral-large-2
中模型	MIDDLE_MODEL	meta/llama-3.1-70b-instruct
小模型	SMALL_MODEL	mistralai/mistral-small-4-119b-2603

示例 - 切换到 Llama 3.1:

BIG_MODEL="meta/llama-3.1-70b-instruct"
MIDDLE_MODEL="meta/llama-3.1-70b-instruct"
SMALL_MODEL="mistralai/mistral-small-4-119b-2603"

修改后重启代理:

# 停止代理（如果正在运行）
# 重新启动
python C:\Users\yang\claude-code-proxy\start_proxy.py

---

📋 NVIDIA 免费模型列表

# Mistral 系列（推荐，免费）
mistralai/mistral-small-4-119b-2603

# Llama 3.1 系列（免费）
meta/llama-3.1-70b-instruct
meta/llama-3.1-8b-instruct

# NVIDIA 自研（免费）
nvidia/nemotron-4-340b-instruct

# Qwen 系列（免费）
qwen/qwen2.5-72b-instruct
qwen/qwen2.5-7b-instruct

# 有速率限制的模型
meta/llama-3.1-405b-instruct    # 最强但限制多
mistralai/mistral-large-2        # 限制多
deepseek-ai/deepseek-v3          # 限制多

---

🔍 关键发现

1. Mistral Small 4 是“小模型”

   • 虽然总参数119B，但采用混合专家（MoE）架构，每次推理只激活6.5B参数
   • 实际计算成本、推理速度都接近7B级别模型
   • 名字中的“Small”名副其实

2. Llama 3.1 70B 是标准中型模型

   • 70B密集参数，计算需求显著高于Mistral Small
   • 在大多数基准测试中性能优于Mistral Small

3. Nemotron-4-340B 是真正的巨模型

   • 340B密集参数，当前NVIDIA平台最大免费模型之一
   • 适合需要最高精度的复杂任务

🎯 合理分类建议

# .env 配置文件建议
BIG_MODEL="nvidia/nemotron-4-340b-instruct"      # 大：最强能力，速度最慢
MIDDLE_MODEL="meta/llama-3.1-70b-instruct"       # 中：平衡性能与速度
SMALL_MODEL="mistralai/mistral-small-4-119b-2603" # 小：最快响应，日常使用

⚡ 性能预期

分类	响应速度	任务适合度	免费额度消耗
大	慢（5-15秒）	复杂分析、代码生成、深度推理	高
中	中等（2-8秒）	一般问答、文本处理、中等复杂度代码	中
小	快（1-3秒）	日常对话、简单查询、快速原型	低

❓ 你的选择

当前配置（你的分类）：

• 大：nvidia/nemotron-4-340b-instruct ✅
• 中：mistralai/mistral-small-4-119b-2603 ❌（实际是小型）
• 小：meta/llama-3.1-70b-instruct ❌（实际是中型）

建议调整：

• 大：保持 nvidia/nemotron-4-340b-instruct
• 中：改为 meta/llama-3.1-70b-instruct
• 小：改为 mistralai/mistral-small-4-119b-2603

C:\Users\yang\claude-code-proxy.env 文件：

# 更新后的模型配置
BIG_MODEL="nvidia/nemotron-4-340b-instruct"      # 大模型 - 340B参数，最强能力
MIDDLE_MODEL="meta/llama-3.1-70b-instruct"       # 中模型 - 70B参数，平衡性能  
SMALL_MODEL="mistralai/mistral-small-4-119b-2603" # 小模型 - 激活6.5B参数，最快响应

Windows 开机自启:

• 创建 claude-code-proxy.vbs 放在启动目录:

  C:\Users\yang\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup\
  

• VBS 内容:

  Set WshShell = CreateObject("WScript.Shell")
  WshShell.Run "C:\Users\yang\claude-code-proxy\venv\Scripts\python.exe C:\Users\yang\claude-code-proxy\proxy.py", 0, False
  

---

2️⃣ NVIDIA API Key 获取

1. 访问 https://build.nvidia.com
2. 注册/登录账号
3. 进入 “API Catalog”
4. 选择任意模型（如 Mistral），点击 “Get API Key”
5. 复制 Key 到 proxy.py 的 NVIDIA_API_KEY

---

3️⃣ 代理可用模型列表

模型	模型 ID	免费额度
Mistral Small	mistralai/mistral-small-4-119b-2603	✅ 免费
Mistral Large	mistralai/mistral-large-2	有限制
Llama 3.1 70B	meta/llama-3.1-70b-instruct	✅ 免费
Llama 3.1 405B	meta/llama-3.1-405b-instruct	有限制
Nemotron-4 340B	nvidia/nemotron-4-340b-instruct	✅ 免费
Qwen 2.5 72B	qwen/qwen2.5-72b-instruct	✅ 免费
DeepSeek V3	deepseek-ai/deepseek-v3	有限制

切换模型: 修改 proxy.py 中的 MODEL 变量，重启代理即可。

这两个模型应该比较流畅

nvidia/nemotron-4-340b-instruct 这个经过测试
mistralai/mistral-small-4-119b-2603

claude-proxy 自启动

在这里插入代码片

在这里插入代码片

---

4️⃣ Claude Code 配置

版本选择:

# 安装稳定版本
npm install -g @anthropic-ai/claude-code@2.0.62

# 禁止更新
npm config set update-notifier false

环境变量 (Windows PowerShell):

[Environment]::SetEnvironmentVariable("ANTHROPIC_BASE_URL", "http://localhost:8082", "User")
[Environment]::SetEnvironmentVariable("ANTHROPIC_AUTH_TOKEN", "any", "User")

配置文件 (C:\Users\yang\.claude\settings.json):

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8082",
    "ANTHROPIC_AUTH_TOKEN": "any"
  }
}

---

5️⃣ 启动脚本

Git Bash (~/claude-proxy.sh):

#!/bin/bash
ANTHROPIC_BASE_URL="http://localhost:8082" ANTHROPIC_AUTH_TOKEN="any" exec node "/c/Users/yang/AppData/Roaming/npm/node_modules/@anthropic-ai/claude-code/cli.js" "$@"

CMD (C:\Users\yang\claude-proxy.cmd):

@echo off
set ANTHROPIC_BASE_URL=http://localhost:8082
set ANTHROPIC_AUTH_TOKEN=any
node "C:\Users\yang\AppData\Roaming\npm\node_modules\@anthropic-ai\claude-code\cli.js" %*

---

6️⃣ 遇到的坑

坑	原因	解决
Illegal instruction	Node v24 不兼容	降级 Node 到 v22 或使用 Claude 2.0.62
Unable to connect	环境变量未生效	使用 ANTHROPIC_AUTH_TOKEN
认证冲突	同时设置 API_KEY 和 AUTH_TOKEN	只保留 AUTH_TOKEN
代理不启动	端口占用	检查 8082 端口 netstat -ano | findstr 8082
NVIDIA API 限流	免费额度用完	切换其他免费模型

---

7️⃣ 验证流程

# 1. 检查代理
curl http://localhost:8082/health

# 2. 检查 Claude Code 版本
claude --version  # 应显示 2.0.62

# 3. 测试连接
claude --print "hi"

# 4. 启动交互模式
claude

---

完整配置完成！ Claude Code 2.0.62 + NVIDIA 代理已就绪。🎉

claude 2.0.0 node 22
安装好后要禁止更新

2.1.0、2.1.7、2.1.14（都可以）
2.0.62（最稳但功能旧）
安装好后要禁止更新

cd “F:\phpstudy\WWW\27.comdianshangerp” & claude

阅读 数据库看 数据字典.txt 项目是fastadmin 按照这个要求 台湾仓库PDA_APP开发说明.docx 完成他

===========================
~/claude-proxy.sh

---

Claude Code 常用命令

1. 启动会话

# 交互模式（默认）
claude

# 非交互模式（一次问答，适合管道）
claude -p "帮我解释这段代码"      # 等价 echo "解释代码" | claude -p
claude -p "重构这个文件" < file.js

# 继续上次对话
claude -c

# 恢复指定会话
claude -r                   # 交互式选择
claude -r <session-id>      # 按ID恢复

2. 模型切换

claude --model sonnet       # 切换到 sonnet
claude --model opus         # 切换到 opus
claude --model haiku        # 切换到 haiku

⚠️ 注意： 通过代理用 NVIDIA 的模型，三个都映射到同一个模型（当前是 mistral-small-4），所以切换 --model 不会改变实际调用的模型。想换模型要改 .env 文件的 BIG_MODEL/MIDDLE_MODEL/SMALL_MODEL。

3. 权限控制

claude --dangerously-skip-permissions        # 完全跳过确认
claude --permission-mode acceptEdits         # 只自动接受编辑
claude --permission-mode bypassPermissions   # 自动接受所有
claude --permission-mode default             # 每次都问

4. 调试与信息

claude --version            # 查看版本
claude doctor               # 检查更新器状态
claude update               # 检查并安装更新
claude -d                   # 开启调试日志
claude -d api               # 只看API调试信息

5. 会话内斜杠命令（进入交互session后用）

/help       # 查看内置命令
/status     # 查看当前连接状态、模型、API等信息
/clear      # 新开一个对话
/model      # 列出/切换模型
/todos      # 查看待办
/tasks      # 查看后台任务
/resume     # 恢复历史会话列表

6. 管道用法

# 传文件内容给 claude
cat file.txt | claude -p "帮我优化这个"

# JSON 结构化输出
claude -p "给我5个中文名" --output-format json

# 流式输出
claude -p "写一首诗" --output-format stream-json

# 限制花费
claude -p "分析整个项目" --max-budget-usd 0.5

7. 配置模型别名（在 settings.json 里）

{
  "models": {
    "sonnet": "mistralai/mistral-small-4-119b-2603",
    "opus": "mistralai/mistral-small-4-119b-2603",
    "haiku": "mistralai/mistral-small-4-119b-2603"
  },
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:8082"
  }
}

---

最常用的场景：

# 日常工作
cd F:\phpstudy\WWW\27.comdianshangerp
claude

# 快捷问问题
claude -p "xxx" --model sonnet

# 继续上次的活
claude -c

问题 1：为什么要读 /F:/phpstudy/ 目录？

注意看第一行——它打的是：

cd “F:/phpstudy/WWW/27.comebdianshangerp”
拼写错了！ eb 和 be 颠倒了，应该是 27.comdianshangerp。所以 cd 失败后，Claude Code 自动尝试找父目录 F:/phpstudy/ 来兜底确认路径。不是它故意要去扫 F 盘根目录，而是路径名打错了导致它找不到项目目录，然后层层往上退着找。

后面的重试用了正确路径 /f/phpstudy/WWW/27.comdianshangerp 就正常了。

问题 2：500 万这么快就没了？

看看刚才 Claude Code 帮你做了多少事——光我看到日志里的就有：

操作 消耗
搜索 9 种模式 多次 API 调用
读取 数据字典.txt (100 行+) 大文件
读取 台湾仓库PDA_APP开发说明.docx 解析文档
列出多个目录 文件系统操作
启动 Explore agent（历时 2m 58s，5 次工具调用） 大头
Agent 模式特别费 token——每次探索要多次调用大模型。加上你用的是 MiniMax-M2.5 通过代理 api.scnet.cn，如果代理那边是按 token 量或请求次数计费的，这波密集操作确实能烧掉一大笔。

上次看到 DISABLE_AUTOUPDATER 那会儿还正常，说明余额是在这次 session 里跑光的。要不要我建议 Claude Code 那边先停掉自动探索，减少不必要的消耗？

1️⃣ 在 Claude Code 终端设预算上限

启动时或运行中，设一个预算限制：

/budget 200000

或者启动时直接：

claude --budget 200000

消耗到接近这个数时它会提醒你。单位是 token。

2️⃣ 设低一点的 effort 级别

/effort low

high 级别会让它花更多思考 token。普通开发任务 medium 完全够用。

3️⃣ 手动关掉自动探索

下次给 Claude Code 发任务时，在 prompt 末尾加一句：

只读取指定文件，不要做自动探索 (Explore) 或搜索目录结构，先确认路径再执行。

这样可以避免它一上来就 Searched for 9 patterns 那样狂搜。

4️⃣ 路径写对，一次命中

你这次被坑主要是路径拼写错误让它反复尝试。写对路径就能省掉大量无用功：

cd /f/phpstudy/WWW/27.comdianshangerp

---

要不要我帮你在 Claude Code 的 settings.json 里加个 CLAUDE_CODE_EFFORT_LEVEL: "medium" 降低默认消耗？或者设置 /budget 默认值？

The user agreed to let me set the effort level to medium in settings.json. Let me read the current settings.json and update it.
Let me change the effort level from “high” to “medium”.
I’ve changed the effort level from “high” to “medium”. Now I should also write a memory note about this.
改好了，CLAUDE_CODE_EFFORT_LEVEL 从 high 降到了 medium。

总结一下现在 settings.json 里的配置：

配置	作用
DISABLE_AUTOUPDATER: "1"	🛑 锁死 v2.1.112 JS 版，不升级到 native binary
CLAUDE_CODE_EFFORT_LEVEL: "medium"	💰 省 token，日常开发够用
其他模型配置	保持 MiniMax-M2.5 走代理

：
当前项目权限设置：

配置项	值	效果
文件	F:\phpstudy\WWW\27.comdianshangerp\.claude\settings.local.json
模式	bypassPermissions	读、写、执行命令全自动通过，不再弹权限提示

这样你在这个项目目录下跑 claude 时，读写文件都不会再问你了。

配置项应该是 ANTHROPIC_AUTH_TOKEN 而不是 ANTHROPIC_API_KEY！让我重新创建配置文件：

✅ 已更新配置文件！关键改动：

ANTHROPIC_API_KEY → ANTHROPIC_AUTH_TOKEN

直接降级 Node 到 v22（推荐，简单

按照开发文档 台湾仓库PDA_APP开发说明.docx 开发 ，数据库的情况查看 数据字典.txt

🚫 Claude Code 禁止更新配置

方法1：npm 配置（推荐）

# 禁用 npm 更新检查
npm config set update-notifier false

# 验证配置
npm config get update-notifier
# 应显示: false

方法2：package.json 修改（更彻底）

编辑 Claude Code 的 package.json：

# 找到 package.json 路径
C:\Users\yang\AppData\Roaming\npm\node_modules\@anthropic-ai\claude-code\package.json

添加/修改：

{
  "name": "@anthropic-ai/claude-code",
  "version": "2.0.62",
  "preferGlobal": true,
  "scripts": {
    "preinstall": "node scripts/preinstall.js",
    "postinstall": "echo 'Skip update check'"
  }
}

方法3：使用 npx 固定版本（无需安装）

# 不全局安装，每次用 npx 运行指定版本
npx @anthropic-ai/claude-code@2.0.62

方法4：创建启动脚本时固定版本

Git Bash 脚本 (~/claude-proxy.sh)：

#!/bin/bash
# 固定使用 2.0.62 版本，忽略更新
ANTHROPIC_BASE_URL="http://localhost:8082" \
ANTHROPIC_AUTH_TOKEN="any" \
exec npx @anthropic-ai/claude-code@2.0.62 "$@"

---

✅ 完整的禁止更新方案

推荐组合使用：

# 1. 安装指定版本
npm install -g @anthropic-ai/claude-code@2.0.62

# 2. 禁用 npm 更新通知
npm config set update-notifier false

# 3. 使用脚本启动（绕过 npm）
~/claude-proxy.sh

验证禁止更新生效：

# 检查 npm 配置
npm config list | grep update-notifier
# 输出: update-notifier = false

# 检查 Claude Code 版本（应始终显示 2.0.62）
claude --version

---

📋 完整配置清单（含禁止更新）

配置项	命令/文件
安装版本	npm install -g @anthropic-ai/claude-code@2.0.62
禁止更新	npm config set update-notifier false
环境变量	ANTHROPIC_BASE_URL=http://localhost:8082
	ANTHROPIC_AUTH_TOKEN=any
配置文件	~/.claude/settings.json
启动脚本	~/claude-proxy.sh

现在 Claude Code 2.0.62 已固定，不会自动更新！ 🎉

按照你的优先级（BIG=能力第一、MIDDLE=兼顾、SMALL=速度优先）选出每个类别5个模型。

首先整理去重后的可用模型（保留最快速度）：

🏆 推荐配置方案

---

📊 BIG 模型（能力优先，速度次之）

排名	模型	参数量	速度	特点
1	meta/llama-3.1-405b-instruct	405B	8.13s	最大模型，能力最强
2	mistralai/devstral-2-123b-instruct-2512	123B	1.63s	能力接近顶级，速度快
3	openai/gpt-oss-120b	120B	1.43s	开源旗舰，能力强
4	nvidia/nemotron-3-super-120b-a12b	120B	2.55s	NVIDIA优化，企业级
5	mistralai/mistral-small-4-119b-2603	119B	1.80s	Mistral大版本

---

⚖️ MIDDLE 模型（能力与速度兼顾）

排名	模型	参数量	速度	特点
1	mistralai/mixtral-8x22b-instruct-v0.1	141B*	1.57s	MoE架构，能力强速度快
2	nvidia/llama-3.3-nemotron-super-49b-v1	49B	1.62s	性价比高
3	nvidia/nemotron-3-nano-30b-a3b	30B	1.46s	速度快，能力不错
4	meta/llama-3.3-70b-instruct	70B	2.29s	Meta成熟模型
5	qwen/qwen2.5-coder-32b-instruct	32B	1.47s	代码能力强

*Mixtral 8x22B 是MoE模型，实际激活参数约39B

---

⚡ SMALL 模型（速度优先）

排名	模型	参数量	速度	特点
1	openai/gpt-oss-20b	20B	1.34s	速度最快，能力优秀
2	nvidia/nemotron-mini-4b-instruct	4B	1.38s	超轻量，极快
3	qwen/qwen3-next-80b-a3b-thinking	80B*	1.42s	MoE架构，速度快
4	mistralai/ministral-14b-instruct-2512	14B	1.53s	Mistral轻量版
5	meta/llama-4-maverick-17b-128e-instruct	17B	1.52s	Meta新架构

*Qwen3 Next是MoE模型，实际激活参数约3B

---

💡 推荐最终配置

编程推荐用 Mistral Devstral‑2‑123B‑Instruct‑2512

其他应用推荐 支持上下文1m 是 nvidia/nemotron-3-super-120b-a12b

# 方案A：追求极致能力（BIG慢但强）
BIG=meta/llama-3.1-405b-instruct
MIDDLE=mistralai/mixtral-8x22b-instruct-v0.1
SMALL=openai/gpt-oss-20b

# 方案B：平衡选择（推荐）
BIG=mistralai/devstral-2-123b-instruct-2512
MIDDLE=nvidia/llama-3.3-nemotron-super-49b-v1
SMALL=openai/gpt-oss-20b

你想用哪个方案？或者想从每个类别的5个候选中自己挑选？

先给总览：这5个模型分两类——一个超大全能旗舰（Llama‑3.1‑405B） + 四个高效MoE旗舰（120B级）。

• 追求绝对能力上限选 Llama‑3.1‑405B；
• 追求速度/成本/能力平衡，优先 GPT‑OSS‑120B ≈ Devstral‑2‑123B > Mistral Small 4 > Nemotron‑3 Super（通用场景）；
• 代码智能体选 Devstral‑2‑123B；企业级长上下文+高吞吐选 Nemotron‑3 Super；多模态+推理+编程三合一选 Mistral Small 4。

---

一、核心参数速览（按你给的排序）

模型	总参数	激活参数	速度(秒/轮)	上下文	开源协议	核心定位
Llama‑3.1‑405B‑Instruct	405B	405B	8.13	128K	商用需申请	最大模型，全能最强
Devstral‑2‑123B‑Instruct	123B	约12B	1.63	256K	Apache 2.0	代码/Agent顶级，快
GPT‑OSS‑120B	120B	5.1B	1.43	128K	Apache 2.0	OpenAI开源旗舰，均衡
Nemotron‑3 Super‑120B	120B	12B	2.55	1M	Apache 2.0	NVIDIA企业级，长上下文+高吞吐
Mistral Small 4‑119B	119B	6.5B	1.80	256K	Apache 2.0	Mistral大版本，多模态+推理+编程

---

二、逐个模型精要

1. Meta Llama‑3.1‑405B‑Instruct（2024.7）

• 唯一非MoE、全参数激活的超大模型，开源界能力天花板。
• 优势：全能最强——推理、数学、多语言、工具调用、长文本理解均顶尖；128K上下文；多语言支持好。
• 劣势：极慢+极耗资源（8.13秒/轮）；部署成本极高（需多卡集群）；商用需Meta审批。
• 适用：科研、极致性能场景、无成本压力的旗舰服务。

2. Mistral Devstral‑2‑123B‑Instruct‑2512（2025.12）

• Mistral专为软件工程/Agent编码打造的123B MoE模型。
• 优势：代码/Agent最强（SWE‑bench 72.2%，开源第一）；256K上下文；速度快（1.63秒）；FP8精度，部署友好。
• 劣势：通用能力略逊GPT‑OSS；偏代码场景，非代码推理稍弱。
• 适用：AI代码助手、自动编程、复杂代码库理解、软件智能体。

3. OpenAI GPT‑OSS‑120B（2025.8）

• OpenAI首款开源大模型，MoE架构（117B总/5.1B激活）。
• 优势：通用能力最强（120B级），接近o4‑mini；速度最快（1.43秒）；单卡80GB可部署；工具调用/数学/科学优异。
• 劣势：上下文128K（短于Devstral/Nemotron）；开源晚，生态稍弱。
• 适用：通用对话、推理、数学、工具调用、生产级高吞吐服务。

4. NVIDIA Nemotron‑3 Super‑120B‑A12B（2026.3）

• NVIDIA混合Mamba‑Transformer+LatentMoE，120B总/12B激活。
• 优势：上下文100万token（碾压级）；推理吞吐比GPT‑OSS高2.2倍；企业级优化，多语言强；NVFP4量化，部署高效。
• 劣势：速度偏慢（2.55秒）；通用基准略低于GPT‑OSS/Devstral；生态新。
• 适用：超长文档分析、企业级智能体、IT自动化、高并发长上下文场景。

5. Mistral Small 4‑119B‑2603（2026.3）

• Mistral三合一模型：推理（Magistral）+多模态（Pixtral）+编码（Devstral）。
• 优势：多模态（图像输入）；可切换快速/深度推理；256K上下文；Apache 2.0开源；吞吐比Small 3高3倍。
• 劣势：通用能力略低于GPT‑OSS/Devstral；多模态能力中等；激活参数6.5B，推理效率一般。
• 适用：通用对话+图像理解+轻量编码、多模态助手、中小规模全能服务。

---

三、关键维度对比（结论化）

• 能力上限：Llama‑3.1‑405B ≫ GPT‑OSS‑120B ≈ Devstral‑2‑123B > Mistral Small 4 > Nemotron‑3 Super
• 推理速度（越快越好）：GPT‑OSS‑120B（1.43s） > Devstral‑2‑123B（1.63s） > Mistral Small 4（1.80s） > Nemotron‑3 Super（2.55s） ≫ Llama‑3.1‑405B（8.13s）
• 上下文长度（越长越好）：Nemotron‑3 Super（1M） ≫ Devstral‑2‑123B = Mistral Small 4（256K） > Llama‑3.1‑405B = GPT‑OSS‑120B（128K）
• 代码/Agent能力：Devstral‑2‑123B ≫ GPT‑OSS‑120B > Mistral Small 4 > Nemotron‑3 Super > Llama‑3.1‑405B
• 多模态能力：Mistral Small 4（图像输入） > 其他4个（纯文本）
• 部署成本：GPT‑OSS‑120B（单卡80GB） < Mistral Small 4 < Devstral‑2‑123B < Nemotron‑3 Super ≪ Llama‑3.1‑405B（多卡集群）

---

四、选型建议（直接对号入座）

1. 要绝对最强能力、不计成本 → Llama‑3.1‑405B‑Instruct
2. 通用场景、平衡速度/能力/成本 → GPT‑OSS‑120B
3. 代码生成/自动编程/软件智能体 → Devstral‑2‑123B‑Instruct
4. 超长文档、企业级高吞吐、长上下文智能体 → Nemotron‑3 Super‑120B
5. 需要图像理解+通用对话+轻量编码 → Mistral Small 4‑119B

---

要不要我把这5个模型的**部署环境需求（显存/算力）和常见性能基准（MMLU、GSM8K、SWE-bench）**整理成一页对比表，方便你快速决策？