背景

技术决策中一个关键的理论框架——"不可能三角法则"。该原理指出，在智能度、性能与成本这三个核心维度之间，存在着固有的约束关系（如下图示）。

具体表现为三个基本命题：

1. 智能度与成本呈正相关（Proposition 1）：系统智能度的提升必然导致研发成本的增加。这一关系在机器学习模型的参数量与训练成本之间体现得尤为显著。

2. 智能度与性能存在协同效应（Proposition 2）：更先进的智能算法往往能带来更优的系统性能指标。例如，在计算机视觉领域，深度学习模型相较传统算法在准确率上有显著提升。

3. 性能与成本构成线性约束（Proposition 3）：追求更高的性能基准必然需要更大的资源投入，这种关系在云计算资源配置方案中表现得最为典型。

基于上述分析，我们可以得出重要推论：在既定技术条件下，任何方案至多只能同时优化其中两个维度。

各维度的折中考虑

三个维度的取舍：

1. 智能度：根据不同公司的业务场景，比如某些业务场景重在可读性和准确性（比如，写邮件并非文学创作，所以满足语义理解和推理输出要求即可）

2. 成本：大模型客户覆盖各行各业，资源投入都会重视投入产出比（成本匹配效果就是最符合客户需求）

3. 性能：C端产品甚至覆盖十亿用户，大客户活跃用户的并发量更大（性能直接影响用户体验，也是产品交付硬指标）

大模型的分类

1. 蒸馏大模型：对比基础大模型，进一步压缩模型大小并降低计算成本

2. 量化大模型：对比基础大模型，它降低了首Token延迟（TTFT），提升了并发吞吐量，显存占用降低（提高性能）

3. 指令微调大模型：通过加入人工标注的指令数据集，可以对明确的指令做出更合适的响应

4. 基础大模型：性能强，适合科研或复杂决策，专为复杂推理、数学运算、代码生成等高难度任务设计

商用大模型选型对比：

维度	基础大模型	指令微调大模型	量化大模型	蒸馏大模型
核心目标	最大化性能	任务专业化	加速推理与降本	轻量化部署
参数规模	百亿~千亿级	与基础模型相同	与基础模型相同	十亿~百亿级
显存需求	150GB+（FP16）	较高，视微调方法而定	较低，40GB（INT8 70B）	最低，21GB（4-bit 32B）
推理速度	低（10 token/s）	中等（20 token/s）	最高（150 token/s）	中高（35 token/s）
适用场景	科研、复杂决策	特定领域高精度任务	搭建企业级的高并发API服务	移动端、实时交互
精度损失	无	通用性下降	3%-6%	5%-15%
硬件门槛	需GPU集群	较高，视微调方法而定	低精度硬件	单卡消费级显卡

小结：客户会根据商业化的应用场景，单独或组合使用模型优化手段，比如：指令微调（Instruction Tuning）、量化（Quantization）和蒸馏（Distillation），以实现性能、效率与资源消耗的平衡。

选型案例：

序号	大模型	分类
1	DeepSeek-R1-671B-bf16	基础大模型
2	DeepSeek-R1-W8A8-671B-W8A8	量化版大模型
3	QWQ-32B-bf16	基础大模型
4	通义千问2.5-32B-Instruct-32B-bf16	指令微调大模型
5	DeepSeek-distill-llama-70B-bf16	蒸馏大模型
6	DeepSeek-distill-qwen-14B-bf16	蒸馏大模型
7	DeepSeek-distill-qwen-32B-bf16	蒸馏大模型

基于上表的各个大模型，我们可以按照下面思路进行选择：

1. 选量化版大模型，DeepSeek-R1-W8A8有更高性能，硬件资源消耗更低

2. 选指令微调大模型，通义千问2.5-32B-Instruct-32B-bf16，硬件资源消耗更低，表现更专业

3. 选基于qwen架构蒸馏大模型， DeepSeek-distill-qwen-32B-bf16，因为它对上下文支持更大，更符合中文下的邮件业务场景的需求，同时性能表现更符合实际使用需求

4. 选参数规模更大的模型，对语义理解会更强、性能也更好

小结：

• 显存需求与模型能力呈正相关，但通过量化、蒸馏等技术可显著优化资源消耗。

• 企业需根据任务复杂度、硬件预算和延迟要求灵活选择模型类型，并优先采用混合优化方案以平衡性能与成本。

• （实际商业化大模型选型也如此，备选方案都选择微调&量化&蒸馏大模型）

海内外客户大模型选型

大模型选型具有地域性的特点，主要围绕政策合规性、用户习惯、数据安全三个方面可以看出差异，可以看出不同地区会有差异化的选择逻辑。

1. 政策合规性（维度01）——选型的刚性约束内地市场

受政策监管要求，客户普遍倾向于选择符合本地化标准的国产大模型（如 Qwen、DeepSeek）。

港澳及海外市场由于政策环境差异，客户更倾向于采用 GPT 系列大模型，以适应当地技术生态。

关键结论：政策是影响大模型选型的首要因素，不同地区的合规要求直接决定了技术栈的选择范围。

2. 用户习惯（维度02）——市场适配性的关键变量港澳及海外客户

长期依赖 GPT 系列 的成熟生态，迁移成本较高，因此更倾向于沿用现有方案。

内地客户由于国产大模型的快速迭代，已形成稳定的使用习惯，对本地化解决方案接受度较高。

关键结论：用户习惯是技术选型的长期影响因素，短期内难以改变，需在商业策略中予以重点考量。

3. 数据安全（维度03）——自建模型的根本动因

无论是内地还是海外市场，出于数据主权和隐私保护需求，高端客户（如金融、政务、医疗行业）最终均倾向于 自建大模型，以确保数据全程可控。

这一趋势在监管严格的行业（如 GDPR 适用地区）尤为显著。

关键结论：数据安全是客户选择自研方案的核心驱动力，未来大模型私有化部署将成为重要趋势。

其他阅读

大模型应用之概念篇（2）：预训练、Transformer算法、token计算

大模型应用之概念篇（1）：文件结构、模型命名、参数规模

大模型应用之：人工智能技术演进

大模型应用之：MCP最佳实践

大模型应用之：SSE流式响应

大模型时代，企业如何榨干每一块 GPU？