TCSExam：大模型开始在理论计算机科学中产出可验证科研成果
——姚期智、杨植麟等联合发布的论文深度解读

2026年11月5日，图灵奖得主姚期智、月之暗面创始人杨植麟等人联合在arXiv上发布论文《TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research》（arXiv:2611.07962）。这不是又一篇单纯展示模型能力的基准论文，而是第一次系统性地把“理论计算机科学研究”拆解成可自动验证的完整链路，并用它给当前最强的大模型打了一张真正的“科研考卷”。
论文地址：https://arxiv.org/abs/2611.07962
项目主页：https://moonshotai.github.io/TCSExam/
代码：https://github.com/MoonshotAI/TCSExam

1. 为什么要做TCSExam？

以往的数学或编程基准，大多聚焦于竞赛题、孤立代码片段或单一证明任务。理论计算机科学（TCS）的实际研究却是一个完整链条：提出猜想、构造反例或改进界、设计求解器、给出形式化证明、再尝试攻克开放问题。TCSExam的目标正是覆盖这条全链路，评估大模型能否真正产出可被人类继续使用的科研成果。

论文作者来自清华大学、月之暗面与上海期智研究院，涵盖了理论计算机科学与大模型两条线。

2. 基准怎么设计？

TCSExam把研究拆成四条赛道，共100道专家审核任务（Full版本），另有精简的Lite版本（每赛道5题，共20题）：

赛道	Full任务数	核心要求	验证方式
定理证明	20	输出完整Lean 4证明	Lean内核 + 公理检查
求解器工程	30	提交可复用程序	隐藏测试集上的可执行检查
显式构造	20	给出数学对象并证明其性质	Lean + 证书检查
开放猜想	30	证明或证伪长期未解决问题	Lean验证

任务来源包括近年顶会论文、开放问题记录等，覆盖图论、编码、复杂性、组合优化等多个子领域。综合评分指标TCSExam Index对前三赛道各赋权30%，开放猜想赋权10%，用于衡量整体科研能力。

所有提交必须通过形式化验证，杜绝“看起来对但其实错”的情况。

3. 主要结果

GPT-6 Astra领先，构造赛道开始改写纪录

在Full套件上，综合指数排名如下（数据来自论文）：

模型	Index	定理证明	求解器	构造	开放猜想
GPT-6 Astra	71.9	70.0%	64.7%	104.9%	0.0%
Kimi K3.1 Pro	57.4	38.3%	54.1%	98.6%	1.1%
Kimi K3	46.8	11.7%	48.7%	95.5%	0.0%
DeepSeek V4.1 Flash 1017	46.0	6.7%	53.1%	91.8%	5.6%
其他模型	40–45	≤5%	43–49%	86–98%	0%

定理证明：GPT-6 Astra在“只给命题、零提示”的裸题模式下解决了14/20道研究级定理（70%），是唯一稳定达到这一水平的模型。Kimi K3.1 Pro以38.3%位列第二。引导式（提供中间引理或证明思路）能显著提升表现，但裸题能力仍是最大差距所在。

构造赛道是最亮眼的部分，多个模型超过了人类已发表基线（得分>100%）：

• Kimi K3将124个顶点无三角形、无4环图的边数从人类此前最优的629条提升至630条，并附完整形式化验证。
• GPT-6 Astra将量子纠错码从[[25,7,5]]推进至**[[25,7,6]]**，提升了纠错距离。
• 同时在二元码界（如A(22,10)）等任务上出现了改进。

开放猜想：30道中目前没有任何模型独立完整证明或证伪任何一道。部分模型成功复现或适配了已公开的反例（如Ryser猜想、MIRUP），并产出了一些可验证的特殊情形与界，但尚未实现真正的“攻克”。

Lite版本上，Claude Opus 5.5以72.3分领跑，与Full版本的排名高度相关（Spearman ρ=0.93），说明Lite可作为高效筛选工具。

4. 意义与局限

积极意义：

• 这是首次把“可验证的科研产出”作为核心评估标准，而不是单纯的答案正确率。
• 构造赛道上的纪录刷新，说明大模型在特定方向上已经能产出人类愿意继续引用和推进的结果。
• 框架开源（代码、Docker环境、任务来源均公开），支持可复现研究。

局限与冷静观察：

• 开放猜想仍是明显短板，模型目前更擅长在已知框架内优化与验证，而非提出全新突破。
• 评估预算为每题12小时开发时间，且多数模型仅尝试一次，结果对提示策略与工具调用高度敏感。
• 定理证明的裸题成功率仍存在巨大差距，引导信息能显著改变排名。
  

5. 结语

TCSExam并没有宣告“AI已经能独立做理论计算机科学研究”，而是给出了一张更清晰的成绩单：在可验证的构造与定理证明上，前沿模型已经开始产出真实价值；在真正开放的前沿问题上，距离仍远。

这与杨植麟此前强调的“谨慎地乐观”相呼应——承认困难，同时死磕那1-2个能决定生死的关键点。对研究者而言，这套基准提供了可复现的参照；对产业而言，它提醒我们，参数规模之外，形式化验证与研究全链路能力可能是下一阶段更重要的分水岭。