选型四坐标与容量公式
绝大多数“该买哪块卡”的纠结，都是因为没把需求拆清楚。真实选型只看四个量：

坐标 关键指标 决定什么
显存/统一内存容量 GB 能装下多大模型、多长 KV Cache
显存带宽 GB/s 解码阶段 tokens/s 的天花板
算力（FP8 / FP4 TFLOPS） T 首 token 延迟 (TTFT) 与 prefill 吞吐
互联（NVLink / NVLink Switch / UB / PCIe） GB/s 多卡/多机能否线性扩展
解码阶段 tok/s 的经验公式（内存带宽受限时成立）：

tokens/s ≈ 显存带宽 (GB/s) / 激活参数体积 (GB)
例：Qwen3-32B 权重 BF16 ≈ 64GB，INT4 ≈ 16GB；RTX 5090 带宽 1.79TB/s，理论上限 ≈ 1790/16 ≈ 112 tok/s，vLLM 实测 80–95 tok/s，吻合。公式本身是 roofline 在 memory-bound 阶段的简化，详见 PagedAttention 论文 与 SGLang RadixAttention 论文。

Prefill 阶段由算力决定，tok/s 正比于 TFLOPS / (2 × 激活参数量)；长 prompt / RAG / Agent 场景首 token 等待时间主要花在这里。Chunked prefill 的原理与收益见 vLLM 文档。

2. 硬件全景深度对比
   2.1 Apple Silicon：Mac Studio 产品线
   Apple Mac Studio 历代 Ultra 芯片内存上限对比：

芯片 发布 最大统一内存 内存带宽 备注
M2 Ultra 2023.6 192 GB 800 GB/s Mac Studio / Mac Pro
M3 Ultra 2025.3 192 GB 800 GB/s Mac Studio / Mac Pro
M4 Ultra 2025.3 192 GB 546 GB/s Mac Studio / Mac Pro
来源：Apple Mac Studio 规格页、Apple M4 Ultra 规格（cpu-monkey）、Wikipedia M3 Ultra

注意：M2 Ultra Mac Studio 支持最高 192 GB，不存在 512 GB 的 Mac Studio 配置。此前文档中"M3 Ultra 512GB"为错误信息，已更正。

Mac Pro（M2 Ultra） 支持最高 192 GB；如需更大内存跑超大模型，目前 Apple 生态无单机超过 192 GB 的消费级方案。

M4 Max MacBook Pro：128 GB 上限，546 GB/s，见 Apple MacBook Pro
软件栈：MLX、llama.cpp Metal、Ollama、LM Studio
能跑的极限负载（社区实测，192 GB 上限）：

Qwen3-235B-A22B Q4（~120 GB）：192GB 机型可装下，约 25–30 tok/s，见 LocalLLaMA 实测线程
Llama-3.3-70B Q4（~40 GB）：约 12–18 tok/s
DeepSeek-V3/R1 671B Q4_K_M（~380 GB）：192 GB 装不下，需要多机或其他方案
M3 Ultra vs M4 Ultra 选择：

两者内存上限相同（192 GB），M3 Ultra 带宽 800 GB/s 略高于 M4 Ultra 的 546 GB/s，推理速度 M3 Ultra 更快
M4 Ultra CPU/Neural Engine 更新，编译/微调任务更快
起价均约 US$ 3,999（Apple 官网）
不适合：

长上下文 prefill 慢（compute-bound），128K ctx 首 token 几十秒级
并发差，单 batch 天然状态，上 vLLM/SGLang 无收益
无 CUDA，绝大多数训练/微调工具链走弯路
无法跑 DeepSeek-V3/R1 671B 等超过 192 GB 的模型
2.2 NVIDIA 消费级：RTX 4090 / RTX 5090
项 RTX 4090 RTX 5090
架构 Ada (AD102) Blackwell (GB202)
显存 24 GB GDDR6X 32 GB GDDR7
带宽 1,008 GB/s 1,792 GB/s
FP8 / FP4 TFLOPS 660 / — 3,352 / 6,704（含稀疏）
TDP 450 W 575 W
MSRP US$ 1,599 US$ 1,999
国内参考价 ¥12–18k（二手）/ ¥18–22k（新） ¥20–25k（AIB 版）
官方规格：RTX 4090、RTX 5090。国内价格参考中关村在线，因关税/汇率波动请以当日电商报价为准。

整机 TCO 估算（3 年，含电费）：

配置 硬件成本 满载功耗 3 年电费（¥0.8/kWh，IDC） 3 年总成本
1× RTX 5090 + 主机 ~¥30k ~700W ~¥1.5k ~¥31.5k
2× RTX 5090 + 主机 ~¥55k ~1,400W ~¥3k ~¥58k
实测（vLLM / TensorRT-LLM）：

5090 单卡 Qwen3-32B AWQ-INT4：单流 ~85 tok/s，batch 8 合计 ~340 tok/s（vLLM benchmark 脚本）
4090 单卡 Qwen3-14B FP8：~120 tok/s 单流
2× 5090 张量并行：Blackwell 消费卡无 NVLink，走 PCIe 5.0 x16，70B Q4 双卡 ~40–55 tok/s
不支持 MIG / vGPU，不能切卡做多租户（NVIDIA vGPU 支持矩阵）
坑：

575W 对家用电源/散热是硬门槛，2 卡起必须 1600W+ 钛金电源 + 开放式机架
消费卡 NVIDIA Driver EULA 禁止数据中心部署（出海 SaaS 要注意）
2.3 NVIDIA 工作站级：RTX PRO 6000 Blackwell
2026 H1 单机本地部署最甜的卡。

96 GB GDDR7 ECC，带宽 1,792 GB/s，AI 算力 4,000 TOPS
来源：NVIDIA 官方产品页
300W TDP（工作站版主动散热；Server Edition 被动散热，需机箱风道）
来源：TechPowerUp 规格页
支持 MIG（4 分区）、vGPU、ECC，规格见 官方产品页
MSRP US$ 8,999（2025.3 上市，国内含税约 ¥75–90k，以当日电商报价为准）
来源：TechPowerUp、Newegg 在售页
整机 TCO 估算（3 年，含电费，IDC 电价 ¥0.8/kWh）：

配置 硬件成本（含整机） 满载功耗 3 年电费 3 年总成本
1× PRO 6000 整机 ~¥22 万 ~500W ~¥1.1 万 ~¥23 万
2× PRO 6000 整机 ~¥35 万 ~800W ~¥1.7 万 ~¥37 万
单卡可跑：

Llama-3.3-70B FP8（~70GB） → ~55 tok/s 单流，batch 32 稳态 ~600 tok/s
Qwen3-72B FP8 单卡放下，~50 tok/s 单流，batch 32 稳态 ~550 tok/s
DeepSeek-R1-Distill-Llama-70B FP8 单卡
128K 长上下文 KV Cache 游刃有余（vLLM 长上下文指南）
并发能力参考（Qwen3-72B FP8，vLLM，TTFT p95 ≤ 500ms）：

并发用户数 稳态 tok/s 说明
5 ~250 轻松，有大量余量
20 ~500 舒适区，推荐日常生产
50 ~580 接近上限，队列开始积压
100+ 需 2 卡 单卡 KV Cache 不足
双卡（2× = 192GB）：

DeepSeek-V3 671B INT4（~335GB）放不下
Qwen3-235B-A22B INT4（~120GB）可以，TP=2 单流 60–80 tok/s，batch 32 稳态 ~1,200 tok/s，支持 ~100 并发
工作站版与数据中心版（RTX PRO 6000 Blackwell Server Edition，被动散热）区别见 NVIDIA PRO GPU 对比。

2.4 NVIDIA 数据中心：H100 / H200 / B200 / B300
卡 显存 带宽 FP8 / FP4 TFLOPS 单卡价 官方链接
H100 SXM5 80GB HBM3 3.35 TB/s 1,979 / — ~$25k H100
H100 NVL 94GB HBM3 3.9 TB/s 1,979 / — ~$30k 同上
H200 SXM 141GB HBM3e 4.8 TB/s 1,979 / — ~$30k H200
B200 SXM 192GB HBM3e 8 TB/s 4,500 / 9,000 ~$35–40k Blackwell 架构
B300 SXM 288GB HBM3e ~10 TB/s ~5,500 / ~11,000 ~$40–45k B300 发布
GB200 / GB300 NVL72：超节点架构，把 72 颗 Blackwell GPU 通过 NVLink Switch 做成"单机"，总显存 13.8TB、总带宽 576TB/s，单柜推理 DeepSeek V3 可达 30× 单节点吞吐，发布资料见 GB200 NVL72。

租 vs 买的边界：8× H100/H200 机柜功耗 10kW 级，机房/冷却/运维都是专业活。个人/小团队 不要自购：

短期租：Lambda Cloud、CoreWeave、RunPod
长包：Oracle OCI、阿里灵骏 PAI-DSW、腾讯 TI-ONE、AWS p5 / p6
主流云平台 GPU 按需租用价格（2025 年实测，含税前）：

平台 实例 按需价 预留价（1yr） 来源
Lambda Cloud 1× H100 SXM5 80G $2.49/hr $1.99/hr Lambda 定价页
Lambda Cloud 8× H100 SXM5 80G $19.92/hr $15.92/hr Lambda 定价页
Lambda Cloud 1× H200 SXM5 141G $3.29/hr $2.63/hr Lambda 定价页
Lambda Cloud 8× H200 SXM5 141G $26.32/hr $21.06/hr Lambda 定价页
RunPod 1× H100 SXM 80G $2.49/hr（社区）/ $3.99/hr（安全） — RunPod 定价页
RunPod 1× H200 SXM 141G $4.49/hr（社区）/ $5.99/hr（安全） — RunPod 定价页
阿里云 PAI-DSW 1× H100 80G ~¥30–50/hr（按量） ~¥20–35/hr（包月） 阿里云价格计算器
8× H200 节点按需月费：Lambda $26.32×24×30 ≈ $18,950/月（~¥13.7 万）；预留价约 $15,200/月（~¥11 万）。自建同等节点 3 年 TCO 约 ¥450–500 万，18–24 个月回本。

8× H200 节点跑 DeepSeek-V3 671B FP8 原生，单节点 1,500–2,500 tok/s 总吞吐（SGLang / vLLM，batch 64+），参考 SGLang DeepSeek V3 benchmark 与 vLLM benchmark 报告。

2.5 NVIDIA DGX Spark（GB10）
CES 2025 发布、2026 年初开始发货的"个人 AI 工作站"。

GB10 Grace Blackwell Superchip：20-core Arm CPU + Blackwell GPU
128 GB LPDDR5X 统一内存，273 GB/s 带宽（注意不是 HBM）
1 PetaFLOP FP4 算力
起售价 US$ 3,299（NVIDIA 官方页）
双机 ConnectX-7 200GbE 互联可扩展到 256GB
官方：DGX Spark、NVIDIA 公告
定位：CUDA 生态的个人工作站，对标 Mac Studio。

273 GB/s 带宽是硬伤：Qwen3-32B Q4 解码理论上限 ~17 tok/s，实测 12–15，不如 5090
优势是 CUDA 全家桶（TRT-LLM、NeMo、BitsAndBytes、PEFT、Unsloth 一把梭），开发体验比 Mac 强一档
双机 256GB 跑 Llama-3.3-70B BF16 可行；70B FP8 单机 128GB 够
一句话：想要 CUDA 生态又不上 PRO 6000 预算，Spark 是唯一解；别拿它做生产推理。

2.6 华为昇腾 910B / 910C
Ascend 910B：HBM2e 64GB、带宽 ~1.6 TB/s、BF16 约 320 TFLOPS，规格见 昇腾 910 系列
Ascend 910C：双 die 封装，~128GB HBM3、FP16 实际推理性能约 H100 的 60–80%（SemiAnalysis 深度拆解）
Atlas 800I A2：8×910B 整机，国内渠道 ~¥120–140 万（华为 Atlas 800I A2 产品页）
Atlas 900 A3 SuperPoD：910C × 384 卡超节点（Huawei Connect 2024 发布），对标 GB200 NVL72
软件栈：CANN + MindIE + MindSpore + vLLM-Ascend。

2026.5 适配状态：

DeepSeek V3/R1、Qwen2.5/Qwen3、GLM-4 官方 MindIE 适配路径齐全，支持 W8A8 量化（见 ModelZoo-PyTorch）
Llama 系列社区适配但非一等公民
vLLM-Ascend 已合并 vLLM 主干（实验性），支持 DeepSeek、Qwen3、Llama3
谁该买：信创合规强约束的政企、央国企、银行、运营商、政务。不是这类客户别凑热闹——工具链成熟度距 CUDA 仍有真实差距，调优人力是隐藏成本。