Temperature、Top-k、Top-p 本质是对 softmax 概率分布的不同干预策略。本文从底层公式出发，解析各超参数如何改变采样空间，以及组合使用时的边界条件。

01 采样流程全景

每个 token 的生成经历 logits → 缩放 → 归一化 → 截断 → 采样五个阶段。Temperature 作用于 softmax 之前，Top-k 和 Top-p 作用于 softmax 之后。

理解这个顺序至关重要。很多开发者误以为 Temperature 和 Top-p 是并列关系，实际上它们是串行管道中的不同处理环节。

采样过程是自回归的：每生成一个 token，该 token 会作为下一步的输入，重新经历完整流程。这意味着超参数的影响会在序列长度上累积放大。

02 Temperature：控制概率分布的锐度

Temperature 作用于 softmax 前的 logits 层。公式：P(i) = exp(logit_i / T) / Σexp(logit_j / T)。

T<1 时，logits 被放大，高概率与低概率之间的差距拉大，模型输出更确定。极端情况 T→0 等价于 greedy decoding，始终选择概率最高的词。

T>1 时，logits 被压缩，概率分布趋近均匀，模型输出更随机。T→∞ 时所有词概率相等，输出完全随机。

以 logits=[2.0, 1.0, 0.5] 为例：T=1 时概率为 [0.51, 0.31, 0.18]；T=0.5 时变为 [0.67, 0.24, 0.09]；T=2.0 时变为 [0.41, 0.31, 0.28]。可见 T 越小，头部词的优势越明显。

2.1 底层数学原理

Temperature 的本质是对概率分布进行缩放变换。从信息论角度，softmax 输出的熵 H = -ΣP(i)logP(i) 衡量了分布的不确定性。T 越小，熵越低，分布越集中；T 越大，熵越高，分布越分散。

当 T 从 1.0 降到 0.1 时，熵可能从 3.5 bits 降到 0.5 bits，意味着模型从"犹豫不决"变为"非常确定"。

从统计物理角度，Temperature 借用了玻尔兹曼分布的概念。在物理系统中，温度越低，粒子越倾向于处于低能态；温度越高，粒子分布越均匀。这里的 logits 类比能量，T 控制"热运动"强度。

2.2 数值稳定性问题

当 T 极小时（如 T=0.01），exp(logit_i / T) 可能溢出。以 logit=10 为例，exp(10/0.01) = exp(1000) 远超 float32 表示范围。实际实现中会在 softmax 前减去最大值进行数值稳定化处理：exp(x - max(x))。

但即使做了稳定化，T 过小仍会导致梯度消失问题。在需要计算梯度的场景（如 RLHF），T 不宜低于 0.1。

2.3 实际影响

T=0.7 是常用起点。过低会导致重复循环，因为模型会反复选择同一批高概率词。过高会产生无意义文本，因为低概率的噪声词获得了过多采样机会。

在代码生成场景中，T 通常设为 0.1-0.3，因为代码语法要求严格，容错率低。在诗歌创作中，T 可设为 0.8-1.2，以增加表达的多样性。

不同任务对 T 的敏感度不同。分类任务（如情感分析）对 T 不敏感，因为正确答案的概率通常远高于其他选项。开放生成任务对 T 高度敏感，因为多个合理的续写方向并存。

03 Top-k：截断低概率候选

Top-k 在 softmax 后按概率降序取前 k 个词，丢弃其余词，再对这 k 个词的概率重新归一化。

核心缺陷是 k 值固定。当模型高度确信时（如补全固定短语），前 3 个词已覆盖 99% 概率，k=50 会引入大量低质量候选。当模型不确定时（如创意写作），前 50 个词可能只覆盖 60% 概率，k=50 又过于保守。

k 的典型取值范围是 20-100。k=1 等价于 greedy decoding，k=vocab_size 等价于关闭 Top-k。

3.1 计算复杂度

Top-k 的时间复杂度为 O(V log k)，其中 V 是词表大小。现代框架通常使用 torch.topk 进行优化，实际复杂度接近 O(V)。对于 50000 词表的模型，每次采样需要遍历全部 logits，Top-k 本身不是性能瓶颈。

在 GPU 上，Top-k 操作可以利用并行排序算法进一步加速。cuDNN 提供了优化的 top-k kernel，在 A100 上处理 50000 词表的延迟约 0.1ms。

3.2 适用场景

Top-k 适合对输出质量要求严格的场景，如代码补全、API 调用生成。固定候选集大小可以确保不会出现极低概率的异常输出。

在对话系统中，Top-k 可以过滤掉不相关的回复候选，提高回答的相关性。但 k 值过小会导致回复单调，缺乏变化。

3.3 与词表大小的关系

Top-k 的合理取值与词表大小相关。对于 30000 词表的模型，k=40 约覆盖前 0.13% 的词。对于 100000 词表的模型，同样的 k=40 只覆盖前 0.04%，截断更激进。

子词分词（如 BPE、SentencePiece）的词表通常在 30000-50000，Top-k=40-50 是经验值。字符级模型的词表仅 100 左右，Top-k 意义不大。

04 Top-p（Nucleus Sampling）：动态截断

Top-p 按累计概率阈值动态选择候选集。从概率最高的词开始累加，直到累计和达到 p，截断后续词。

优势在于自适应性：模型确信时候选集自动缩小，不确定时自动扩大。p=0.9 意味着保留覆盖 90% 概率质量的最小词集。

论文原文（Holtzman et al., 2019, “The Curious Case of Neural Text Degeneration”）推荐 p=0.9，配合 Temperature 使用效果最佳。p 过低会导致输出单调，p 过高则失去截断意义。

4.1 与 Top-k 的本质差异

Top-k 是绝对截断，Top-p 是相对截断。Top-k 关注"数量"，Top-p 关注"质量"。

举例：某步概率分布为 [0.4, 0.3, 0.15, 0.1, 0.05]。Top-k=3 会选中前 3 个词，覆盖 85% 概率。Top-p=0.9 会选中前 4 个词（累计 0.95），因为前 3 个词累计只有 0.85，未达到 0.9 阈值。

在分布尖锐时，Top-p 的候选集可能只有 2-3 个词；在分布平缓时，候选集可能扩大到 20-30 个词。这种自适应性是 Top-p 优于 Top-k 的核心原因。

4.2 计算实现

Top-p 的实现需要两步：先对概率降序排序，再计算累计和找到截断点。时间复杂度 O(V log V)，主要来自排序操作。实际工程中可与 Top-k 合并优化，先 Top-k 缩小范围再 Top-p，降低计算量。

在 HuggingFace Transformers 中，Top-p 的实现使用了 torch.sort 和 torch.cumsum，代码约 15 行。关键逻辑是找到第一个累计和大于等于 p 的索引位置。

4.3 边界情况处理

当 p 接近 1.0 时（如 p=0.99），Top-p 几乎不截断，退化为完整采样。当 p 接近 0 时（如 p=0.01），可能只保留概率最高的 1 个词，等价于 greedy decoding。

某些实现中，Top-p 会设置最小候选数（如至少保留 2 个词），避免 p 过小导致候选集为空。

05 参数组合效应

三者并非互斥，而是作用于采样流程的不同阶段。Temperature 改变分布形态，Top-p/Top-k 裁剪候选空间。

推荐配置：

• 创意写作：T=0.8, p=0.9
• 代码生成：T=0.2, p=0.95
• 事实问答：T=0.1, k=50
• 翻译任务：T=0.3, p=0.95
• 对话系统：T=0.7, p=0.9, k=40

5.1 组合优先级

当同时设置 Top-k 和 Top-p 时，大多数框架（如 HuggingFace Transformers）的执行顺序是：先 Top-k 截断，再在剩余候选上执行 Top-p。这意味着 Top-k 是第一道粗筛，Top-p 是第二道精筛。

如果 Top-k 设置过小（如 k=5），Top-p 可能失去作用，因为 5 个词的累计概率很容易超过 0.9。反之，如果 Top-k 很大而 Top-p 很小，实际候选集由 Top-p 决定。

5.2 参数交互效应

Temperature 和 Top-p 存在交互作用。T 较低时，分布已经很尖锐，Top-p 的候选集通常很小。T 较高时，分布平缓，Top-p 会保留更多候选词。

这种交互意味着不能孤立地调优单个参数。固定其他参数只调一个，可能得到误导性的结论。

06 常见误区

T=0 并非最优。虽然输出最确定，但容易陷入重复循环，尤其在长文本生成中。这是因为模型会反复选择相同的高概率序列，形成自增强循环。

Top-p 和 Top-k 不是互斥关系。多数框架先执行 Top-k 截断，再在剩余候选上执行 Top-p，两者配合使用。

参数没有绝对的好坏，只有适合特定任务的组合。同一组参数在不同模型、不同任务上的表现可能差异巨大。

6.1 调参建议

不要同时调整所有参数。建议先固定 Top-k=50、Top-p=0.9，只调 Temperature 找到合适的随机性水平，再微调 Top-p 控制候选范围。

记录每次实验的参数和输出质量。超参数调优是经验积累过程，没有万能公式。

使用 A/B 测试对比不同参数组合的输出。让多个评估者对生成结果打分，取平均分作为指标。

6.2 重复生成问题

相同参数多次运行可能产生不同输出，这是采样过程的随机性导致的。如果需要可复现结果，需要固定随机种子（torch.manual_seed 或 numpy.random.seed）。

但即使固定种子，不同硬件（CPU vs GPU）或不同框架版本可能产生不同的随机数序列，导致输出不一致。

07 不同框架的默认值

框架	Temperature	Top-k	Top-p
HuggingFace	1.0	-	1.0
OpenAI API	1.0	-	1.0
vLLM	1.0	-	1.0
Ollama	0.8	40	0.9
Claude API	1.0	-	0.999
Gemini API	0.9	-	0.95

注意：默认值不等于推荐值。默认值通常设为"关闭截断"状态，让用户自行配置。

7.1 框架实现差异

HuggingFace Transformers 的 generate() 方法支持所有三种参数，通过 do_sample=True 启用采样模式。如果 do_sample=False，则使用 beam search 或 greedy decoding。

vLLM 使用自定义的采样 kernel，在 GPU 上并行处理多个请求的采样操作，吞吐量比 HuggingFace 高 10-20 倍。

OpenAI API 的参数通过 HTTP 请求传递，采样在服务器端完成。用户无法直接控制底层实现细节。

08 性能影响分析

超参数选择不仅影响输出质量，也影响推理性能。

8.1 延迟影响

Temperature 对延迟无影响，只是简单的除法操作。Top-k 和 Top-p 需要排序操作，增加约 0.1-0.5ms 的延迟（取决于词表大小和硬件）。

对于实时应用（如对话机器人），这点延迟通常可忽略。对于批量生成场景，排序操作可能成为瓶颈，特别是当 batch size 很大时。

8.2 吞吐量影响

Top-k 和 Top-p 的排序操作在 GPU 上可以高度并行化。vLLM 等优化框架将采样操作融合到单个 kernel 中，减少内存访问开销。

在 A100 GPU 上，处理 50000 词表、batch size=128 的采样操作，优化后的延迟约 2ms，未优化的实现可能需要 10-20ms。

09 极端场景分析

9.1 极低 Temperature（T<0.1）

输出几乎确定，适合需要严格格式的场景（如 JSON 生成、SQL 查询）。但风险是模型可能生成语法正确但语义错误的内容，因为缺乏探索能力。

9.2 极高 Temperature（T>2.0）

输出高度随机，可能产生创意性内容，但也容易出现语法错误和逻辑断裂。适合艺术创作，不适合信息传递。

9.3 Top-p 接近 1.0（p>0.99）

几乎不截断，退化为完整采样。适合需要最大多样性的场景，但可能引入低质量输出。

9.4 Top-k 等于 1

等价于 greedy decoding，始终选择概率最高的词。输出最确定，但缺乏变化，容易陷入重复。

10 总结

超参数本质是在确定性与多样性间寻找平衡点。理解底层机制比盲目调参更重要。

Temperature 控制分布锐度，Top-k 提供硬性截断，Top-p 实现动态裁剪。三者组合使用，才能在不同任务场景下获得最优输出质量。

调参没有银弹。理解每个参数的作用机制，结合具体任务需求，通过实验找到最佳组合，才是正确的方法论。