大模型few shot--思维链与推理任务

目录
摘要
推理任务(数学、逻辑、多步决策)是少样本的硬战场:直接给答案的示例几乎无效,带推理步骤的思维链示例才是钥匙。本文从 Wei 等人的 CoT 实验数据出发,拆解思维链的核心机制、零样本思维链的"深呼吸"发现、示例设计的三步五步原则与失败模式,并给出自洽性投票与思维链评测管线的完整代码。
1. 推理任务的少样本困境
1.1 为什么普通示例对推理任务无效
普通少样本示例的格式是"输入问题、输出答案",中间的推理过程被跳过。对分类和抽取任务这没问题,因为判定是一步的(看输入直接给标签)。推理任务需要多步计算,跳过中间步骤意味着模型必须在一次前向传播中完成全部推理,而 Transformer 的单次前向本质上是一步计算。
图:普通示例与推理任务的鸿沟
图下解读:普通示例教会模型"答案长什么样",思维链示例教会模型"怎么得到答案"。推理任务的核心不是答案格式而是计算路径,跳过路径的示例等于只给了终点没给路线。
1.2 推理任务的分类
| 任务类型 | 推理步数 | 普通示例效果 | 思维链效果 |
|---|---|---|---|
| 单步分类 | 一步 | 好 | 不需要 |
| 简单算术 | 一到两步 | 中等 | 略有帮助 |
| 多步数学 | 三步以上 | 差 | 显著提升 |
| 逻辑推理 | 三步以上 | 差 | 显著提升 |
| 常识推理 | 两到三步 | 中等 | 有帮助 |
单步分类不需要思维链(加了反而浪费 token),多步数学是思维链的主战场。判断任务需要几步推理的方法:手工做十道题并数自己的中间步骤,超过两步就是推理任务。
还有一个灰区场景值得单独识别:表面上是一步判定但实际需要隐性推理的任务。比如"这条工单该分给哪个组",表面上是一步分类(看内容给标签),但正确的分法需要先理解故障类型(一步推理)再映射到处理组(第二步推理)。这类任务用普通示例的效果比纯分类差、比纯数学好,加思维链有中等收益。判断方法:拿十道题问自己"我判断的依据是什么",如果需要说出两个以上的依据,就是隐性推理任务。
1.3 推理任务的判定流程
把"是否该用思维链"的判定浓缩成三步,三十秒可以完成。第一步,数步骤:取五道典型题,手工写出判断依据,数需要几个依据。第二步,看可显式性:判断依据能否用自然语言写出来而不失真(数学公式可以、直觉判断不行)。第三步,看规模:模型参数量是否在 70B 以上(小模型的推理链本身容易出错)。
| 判定结果 | 三步的条件 | 建议 |
|---|---|---|
| 需要思维链 | 步骤超两步、可显式、大模型 | 用思维链示例 |
| 可用可不用 | 步骤一到两步、可显式 | 先用普通示例试 |
| 不适合思维链 | 步骤不可显式、或小模型 | 用普通示例或微调 |
2. 思维链的核心思想
2.1 显式展开中间步骤
思维链(Chain-of-Thought,CoT)的核心思想只有一句:让模型在给出答案之前,显式写出推理的中间步骤。这些步骤不是给人看的,是给模型的后续 token 用的——每一步的输出成为下一步的输入上下文,相当于把多步推理拆成了多个单步预测。
图:思维链如何拆解多步推理
图下解读:思维链把三步推理拆成三个"单步加条件"的预测。每个预测的上下文中已经包含了前面步骤的输出,模型不需要在一次前向中记住全部中间结果。这与人类做数学题写草稿的过程完全一致。
2.2 示例的对比
// 来源:Wei 等 CoT 论文 / 示例对比
普通示例:
问题:食堂有23个苹果,用了20个做午餐,又买了6个,现在有多少?
答案:9
思维链示例:
问题:食堂有23个苹果,用了20个做午餐,又买了6个,现在有多少?
先算用完后剩余:23 - 20 = 3
再算买完后的总数:3 + 6 = 9
答案:9
普通示例的答案"9"没有告诉模型 23-20+6=9 这个过程。模型可能记住了这道题的答案,但遇到不同的数字就不会算了。思维链示例展示了"先算什么再算什么"的路径,模型可以复现这个路径来处理新数字。
3. Wei等人的实验证据
3.1 GSM8K 上的突破
Wei 等人 2022 年的论文是思维链方法的标志性工作。他们在 GSM8K(小学数学题数据集)上的实验结果成为思维链有效性的经典引用:
| 方法 | 模型 | GSM8K 准确率 |
|---|---|---|
| 标准少样本 | PaLM 540B | 17.9% |
| 思维链少样本 | PaLM 540B | 56.9% |
图:标准提示与思维链的准确率对比
图下解读:三十九个百分点的提升不是微调也不是换模型,只是换了示例的格式(从"问题加答案"变成"问题加步骤加答案")。这可能是大模型研究史上投入产出比最高的一次改动。
3.2 规模效应:小模型不吃思维链
思维链的收益高度依赖模型规模。Wei 等人发现:
| 模型规模 | CoT 提升(GSM8K) |
|---|---|
| 8B | 无效甚至略降 |
| 62B | +10 个百分点 |
| 540B | +39 个百分点 |
小模型用思维链反而可能更差,原因是小模型没有足够的容量在生成推理步骤时保持每步的逻辑正确性。写了错误的推理步骤再得出错误的答案,不如不写步骤直接猜。这为实践划了一条线:70B 以下的模型慎用思维链,如果要用,推理步骤要极简(一到两步)。
3.3 思维链在其他推理任务上的验证
Wei 等人的实验不限于 GSM8K,还覆盖了多个推理基准,提升幅度因任务类型而异:
| 任务 | 标准少样本 | 思维链少样本 | 提升 |
|---|---|---|---|
| GSM8K 数学 | 17.9% | 56.9% | +39.0 |
| SVAMP 数学 | 72.9% | 79.0% | +6.1 |
| AQuA 代数 | 28.6% | 35.8% | +7.2 |
| StrategyQA 常识 | 71.9% | 73.5% | +1.6 |
数学任务的提升最大(GSM8K +39),常识任务的提升最小(StrategyQA +1.6)。这个分布揭示了一个重要规律:思维链的收益与任务的"推理步骤数"正相关。数学需要三到五步显式计算,每步都可以写出来被模型跟随;常识推理的中间步骤是隐式的(模型"知道"太阳从东边升起但说不清推理链),写出来反而变成硬编。
对选型的含义:判断你的任务适不适合思维链,不是看它"难不难"而是看它的中间步骤能不能被显式表达。数学计算、逻辑推断、条件判断的步骤可以显式写出,思维链有效;直觉判断、常识推理的步骤是隐性知识,思维链帮助有限。
4. 零样本思维链:一句话的魔力
4.1 Kojima 等人的发现
Wei 等人的方法需要手工写思维链示例,成本不低。Kojima 等人发现了一个更简单的触发方式:在零样本提示词末尾加一句话"Let’s think step by step"(一步一步来思考),模型就会自发地生成推理步骤再给答案。
// 来源:Kojima 等 / 零样本思维链
标准零样本:
问题:食堂有23个苹果,用了20个,又买了6个,还有多少?
答案:9
零样本思维链:
问题:食堂有23个苹果,用了20个,又买了6个,还有多少?
让我们一步一步思考。
首先,食堂开始有 23 个苹果。用了 20 个做午餐,所以剩下 23 - 20 = 3 个。
然后又买了 6 个,所以现在有 3 + 6 = 9 个。
答案:9
4.2 两种思维链的对比
| 维度 | 少样本思维链 | 零样本思维链 |
|---|---|---|
| 示例需求 | 需要手写推理步骤 | 不需要 |
| 准确率 | 更高 | 略低但接近 |
| token 成本 | 示例占一百到三百token | 触发句只占几个token |
| 维护成本 | 需维护示例格式 | 几乎零维护 |
| 适用 | 追求最高准确率 | 快速验证、低频任务 |
工程上的推荐路径:先用零样本思维链验证模型是否能做这个推理任务,能做再投资写少样本思维链示例追求更高准确率。零样本思维链是低成本的可行性验证器。
两种思维链之间还有一个中间形态值得了解:少量思维链(One-shot CoT)。只在提示词中放一条思维链示例(而不是两到三条),既给了模型推理格式的锚定,又控制了 token 成本。一条示例的格式锚定足以让多数模型跟随推理模式,准确率介于零样本和完整少样本之间。token 预算紧张时的选择不是放弃思维链,而是从三条裁到一条,保留最典型的推理路径示范。
图:零样本CoT与少样本CoT的调用对比
图下解读:零样本CoT是零成本的可行性验证器,少样本CoT是有效后的准确率提升器。
5. 思维链示例的设计原则
5.1 三要素:可验证、一致、简洁
思维链示例的设计比普通示例多一个层次,需要同时满足三个要素。
图:思维链示例的三要素
图下解读:可验证是最关键的要素——推理步骤中的每一步计算或逻辑推断都应该能被独立检查。错误的一步会教模型带病的推理过程(第 5 篇的结论),在推理任务中危害被放大。
5.2 步骤数的控制
| 任务复杂度 | 推荐步骤数 | 超过时的处理 |
|---|---|---|
| 两步以内 | 一到两步 | 不需要思维链 |
| 中等复杂 | 三到四步 | 正常区间 |
| 高复杂 | 五步 | 拆成两个子任务 |
步骤超过五步后有两个问题:一是 token 成本膨胀(每步约二十个 token,五步就是一百个),二是中间步骤的累积错误率上升(每步百分之一的错误率,五步累积到百分之五)。
五步的累积错误还可以用自洽性对冲:多条路径的投票天然修正了单条路径的偶发步骤错误。高复杂任务的最佳配置因此是五步思维链加五路投票:步骤覆盖推理深度,投票修正偶发错误,两层叠加后整体错误率反而低于三步无投票的版本。
5.3 连接词的模板化
思维链示例的连接词应该模板化,所有示例用同一套连接词序列。推荐的最简模板:
先判断...:条件A满足/不满足
再计算...:数值B = 表达式
因此...:最终答案C
"先…再…因此"的三段式覆盖了大部分两到三步的推理任务。更复杂的任务可以扩展为"先…然后…再…因此"的四段式,但段数增加意味着维护成本上升。
连接词的另一个细节:中文连接词和英文连接词在不同模型上的效果有差异。在中文模型(如 Qwen 系列)上用"先…再…因此"效果最好;在英文模型(如 GPT 系列)上处理中文任务时,用"Step 1…Step 2…Therefore"或混合形式(中文内容加英文连接词)可能效果更好。原因是预训练语料的分布:模型的推理示范主要来自英文语料,英文连接词与推理模式的关联更强。选择时在目标模型上各跑一遍对比,选准确率高的那种。
6. 思维链的失败模式
6.1 推理正确答案错误
模型写出了完全正确的推理步骤,最后一步计算或誊写出错,答案错误。这在数学任务中最常见:前面五步都对,最后一步加法算错。
| 失败模式 | 表现 | 频率 | 对策 |
|---|---|---|---|
| 推理对答案错 | 步骤正确最终誊写错 | 约一到两成 | 程序验证答案 |
| 推理错答案对 | 步骤有误但碰巧答案对 | 少见 | 无法自动检测 |
| 推理错答案错 | 步骤和答案都错 | 常见于难任务 | 增加示例覆盖 |
| 过度推理 | 简单题写了十步 | 偶发 | 示例控制步骤数 |
6.2 过度推理
过度推理指模型在简单任务上写了冗长的推理步骤,每一步都是正确的但完全多余。原因是思维链示例都是难题,模型学到了"每道题都需要多步推理"的模式,遇到简单题也强行展开。
对策:在示例集中混入一到两条"一步直出答案"的短示例,教会模型"简单题不需要推理链"。混合示例的连接词仍然保持一致(都用"先…再…因此"),但简单示例只有"先"这一步。
过度推理的检测也有方法:统计推理段与答案的字数比。正常推理链的字数与答案的比值在五到十倍之间(推理段一百字、答案二十字),超过二十倍(推理段四百字、答案二十字)说明模型在过度展开。把字数比加入生成端的监控面板,超阈值时触发示例集审查。
6.3 推理与答案的解耦验证
“推理对答案错"这一失败模式有一个工程级的补救方案:程序验证器。思路是在生成端后面挂一个程序检查器,对推理链中的每一步计算做独立验证,发现某步计算错误时标记该条输出为"低置信”。
# 来源:自实现 / cot_verifier.py(推理链逐步验证器)
import re
def verify_cot(reply: str) -> dict:
"""逐步验证推理链中的算式"""
errors = []
exprs = re.findall(r"(\d+)\s*([+\-*/])\s*(\d+)\s*=\s*(\d+)", reply)
for a, op, b, expect in exprs:
a, b, expect = int(a), int(b), int(expect)
actual = {"+": a+b, "-": a-b, "*": a*b, "/": a/b if b else 0}[op]
if actual != expect:
errors.append(f"{a}{op}{b}={expect},实际应为{actual}")
return {"n_steps": len(exprs), "n_errors": len(errors),
"is_valid": len(errors) == 0, "errors": errors}
if __name__ == "__main__":
reply = "先算 23 - 20 = 3\n再算 3 + 6 = 10\n答案:10"
result = verify_cot(reply)
print(f"步骤{result['n_steps']} 错误{result['n_errors']} "
f"{'通过' if result['is_valid'] else '失败'}")
for e in result["errors"]:
print(f" 错误:{e}")
源码说明:verify_cot 用正则提取推理链中的算式并逐步验证。这条例子中第二步"3+6=10"是错的(应为9),验证器成功捕获。验证器还能反向服务示例质检:把思维链示例跑一遍验证器,有计算错误的示例立即修复,防止带病示例教坏模型。
// 来源:自实现 / mixed_cot_example.txt(混合难度示例)
复杂题示例:
问题:满1000减150,购物车1280元,实付多少?
先判断满减档位:1280 满足满 1000 档。
再计算:1280 - 150 = 1130。
答案:1130
简单题示例:
问题:2加3等于多少?
先直接计算:2 + 3 = 5。
答案:5
图:四种失败模式的频率与影响
图下解读:四种失败按频率排序,推理对答案错最高频但最容易用程序验证器补救。
7. 自洽性:多条推理路径投票
7.1 核心思想
自洽性(Self-Consistency)是思维链的进阶版:对同一条问题,用高温采样生成多条不同的推理路径,每条路径各自得出答案,取多数票作为最终答案。直觉:正确的推理路径虽然形式不同但殊途同归到同一答案,错误的路径各错各的,多数票自然偏向正确答案。
图:自洽性投票流程
图下解读:三条路径中两条得出答案 A,一条得出答案 B。多数投票选 A。自洽性利用的是"正确答案的自洽性"——多条正确路径收敛到同一答案,而错误路径发散到不同答案。
7.2 实现代码
# 来源:自实现 / self_consistency.py(自洽性投票实现)
import collections
def self_consistency(model, question: str, instruction: str,
examples: list, n_paths: int = 5,
temperature: float = 0.7) -> dict:
"""生成多条推理路径并投票"""
prompt = build_prompt(instruction, examples, question)
answers = []
for _ in range(n_paths):
reply = model(prompt, temperature=temperature)
answer = extract_answer(reply)
answers.append(answer)
# 多数投票
counter = collections.Counter(answers)
winner, votes = counter.most_common(1)[0]
return {"answer": winner,
"votes": votes,
"confidence": votes / n_paths,
"all_answers": answers}
def extract_answer(reply: str) -> str:
"""从推理段中提取最终答案"""
for line in reply.splitlines():
if line.strip().startswith("答案:") or \
line.strip().startswith("答案:"):
return line.split(":")[-1].split(":")[-1].strip()
return reply.strip().splitlines()[-1].strip() if reply else ""
if __name__ == "__main__":
result = self_consistency(
model, "满2000减300,购物车3500元,实付多少?",
"解答数学题。", COT_EXAMPLES, n_paths=5)
print(f"答案 {result['answer']},票数 {result['votes']}/5,"
f"置信度 {result['confidence']:.0%}")
源码说明:self_consistency 用高温(0.7)采样同一条提示词五次,每次得到不同的推理路径和答案。多数投票选出的答案附带回票数与置信度,置信度低于五成时标记为"不确定"转人工。代码不到三十行,是思维链的最便宜的准确率提升手段。
7.3 自洽性的成本与收益
| 路径数 | 调用成本 | 准确率提升 | 适用 |
|---|---|---|---|
| 一条(无投票) | 基线 | 基线 | 低价值任务 |
| 三条 | 三倍 | +3到8个百分点 | 中等价值 |
| 五条 | 五倍 | +5到12个百分点 | 高价值 |
| 十条 | 十倍 | 边际收益递减 | 极高价值 |
五条是多数场景的甜点。十条的准确率提升与五条相比通常不到两个点,但成本翻倍。置信度本身也是有用信号:五条全一致说明模型很确定,可以自动化处理;两三票胜出说明模型不确定,值得转人工或增加路径数。
自洽性与第 3 篇的多样性约束有一个概念上的呼应:多条推理路径的多样性来自高温采样(同一提示词不同随机种子),而不是不同示例。两者的共同直觉是"正确的答案在多种扰动下保持不变"。实践上可以叠加:用不同的示例排列加高温采样,双重扰动下的投票结果更稳健。代价是复杂度上升,只在极高价值的场景值得投入。
8. 实战:构建思维链评测管线
8.1 管线架构
图:思维链评测管线
图下解读:管线分三步升级。第一步零样本思维链验证模型可行性,第二步少样本思维链提升准确率,第三步自洽性投票再提一轮。每步的升级决策由前一步的准确率驱动,不达标就不投资下一步。
# 来源:自实现 / cot_pipeline.py(完整思维链评测管线)
import json
def run_cot_pipeline(model, eval_cases: list) -> dict:
"""三步评测:零样本CoT → 少样本CoT → 自洽性"""
# 第一步:零样本思维链基线
zero_acc = eval_zero_cot(model, eval_cases)
print(f"零样本CoT准确率 {zero_acc:.1%}")
if zero_acc < 0.5:
return {"status": "model_insufficient",
"zero_shot": zero_acc}
# 第二步:少样本思维链
few_acc = eval_few_cot(model, eval_cases)
print(f"少样本CoT准确率 {few_acc:.1%}")
# 第三步:自洽性投票
sc_acc = eval_self_consistency(model, eval_cases, n=5)
print(f"自洽性准确率 {sc_acc:.1%}")
return {"zero_shot": zero_acc,
"few_shot": few_acc,
"self_consistency": sc_acc,
"status": "complete"}
def eval_zero_cot(model, cases):
ok = 0
for c in cases:
prompt = f"解答以下问题。\n让我们一步一步思考。\n问题:{c['q']}\n"
reply = model(prompt)
ok += extract_answer(reply) == c["a"]
return ok / len(cases)
def eval_few_cot(model, cases):
ok = 0
for c in cases:
prompt = build_prompt("解答数学题,写出步骤。",
COT_EXAMPLES, c["q"])
reply = model(prompt)
ok += extract_answer(reply) == c["a"]
return ok / len(cases)
def eval_self_consistency(model, cases, n=5):
ok = 0
for c in cases:
prompt = build_prompt("解答数学题,写出步骤。",
COT_EXAMPLES, c["q"])
answers = [extract_answer(model(prompt, temperature=0.7))
for _ in range(n)]
winner = collections.Counter(answers).most_common(1)[0][0]
ok += winner == c["a"]
return ok / len(cases)
if __name__ == "__main__":
cases = json.load(open("math_eval.json", encoding="utf-8"))
report = run_cot_pipeline(model, cases)
print(json.dumps(report, indent=2, ensure_ascii=False))
源码说明:管线的入口是评测集,出口是三级准确率报告。每级之间有决策点:零样本低于五成直接返回"模型能力不足",省下后续投资。完整管线约六十行,覆盖了从可行性验证到最终报告的全部逻辑。
8.2 评测集的构建
| 维度 | 建议分布 | 说明 |
|---|---|---|
| 步骤数 | 一到五步均匀 | 覆盖不同复杂度 |
| 数字范围 | 与线上业务一致 | 避免测试超纲题 |
| 正确答案 | 可机器验证 | 数学题算出来、逻辑题比对 |
评测集数量五十到一百条起步。太少置信区间太宽,太多跑一轮自洽性(五倍调用)的成本爆炸。五十条加五路投票约二百五十次调用,在 API 上几分钟跑完。
8.3 两种失败的诊断
| 症状 | 诊断 | 处置 |
|---|---|---|
| 零样本CoT低于三成 | 模型推理能力不足 | 换更大模型 |
| 零样本好少样本差 | 示例的推理步骤有错 | 逐步检查示例 |
| 少样本好自洽性差 | 高温采样偏离推理模式 | 降低温度到0.5 |
| 全部低于五成 | 任务超出模型能力 | 拆解或换方法 |
总结
思维链是推理任务少样本的钥匙:显式展开中间步骤,让多步推理变成多个单步预测,PaLM 540B 在 GSM8K 上提升三十九个百分点。零样本思维链用一句触发词验证可行性,少样本思维链用精心设计的步骤示例追求最高准确率。自洽性投票利用多条路径的收敛性再加五到十二个百分点。设计思维链示例的三要素是可验证、一致、简洁,步骤不超过五步,连接词模板化。小模型(70B 以下)慎用思维链,因为推理步骤本身可能出错。完整的三步评测管线(零样本验证、少样本提升、自洽性投票)约六十行代码,是推理任务工程化的最小闭环。
外部引用
- Wei 等《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》:https://arxiv.org/abs/2201.11903
- Kojima 等《Large Language Models are Zero-Shot Reasoners》:https://arxiv.org/abs/2205.11916
- Wang 等《Self-Consistency Improves Chain of Thought Reasoning in Language Models》:https://arxiv.org/abs/2203.11171
- Cobbe 等《Training Verifiers to Solve Math Word Problems》(GSM8K 数据集):https://arxiv.org/abs/2110.14168
- GPT-3 论文《Language Models are Few-Shot Learners》:https://arxiv.org/abs/2005.14165
- Min 等《Rethinking the Role of Demonstrations》:https://arxiv.org/abs/2202.13437
- Olsson 等《Context Learning and Induction Heads》:https://arxiv.org/abs/2209.11895
- Zhou 等《Least-to-Most Prompting Enables Complex Reasoning in Large Language Models》:https://arxiv.org/abs/2205.10625
更多推荐


所有评论(0)