让大模型当一次化学家:MolQuest分子结构解析评测双榜出


LLM到底能不能像化学家一样,从分子的表征数据推理出一个完整的分子结构?MolQuest给出了回答。
MolQuest是一个面向分子结构解析的Agent-Based评测基准,以535条真实小分子有机化合物为样本,模型从一个未知样品出发,在多轮交互中自行决定下一步该做哪个实验,调度多种化学分析工具并整合NMR/MS/IR/HRMS等多种表征数据,最终推理出唯一确定的分子结构(SMILES)。
MolQuest设有Agent(多轮工具调用)与Baseline(一次性全证据输入)两种模式,并独立排榜,并且以RDKit规范化后的SMILES精确匹配为核心评判标准,全部评分由化学信息学客观方法完成,不引入任何LLM裁判模型。
点击👉🏻晓天衡宇查看更多信息。


-
Gemini-3.1-Pro问鼎,双榜冠军分属Google与OpenAI
Google的gemini-3.1-pro以54.77%准确率斩获Agent模式总榜第一,gemini-3-flash(51.03%)与gemini-3-pro(47.85%)分列二、三位,Gemini家族包揽前三。
Baseline模式格局逆转,OpenAI的gpt-5.5-high以52.15%反超登顶,gemini-3-pro(51.59%)退居第二,双榜冠军分属不同厂商。
-
SMILES验证准确性普遍达标,结构正确性仍是行业共性天花板
在SMILES验证准确性(Validity)维度下,头部模型普遍突破90%,claude-opus-4.5以97.76%(Agent)和97.01%(Baseline)领跑该指标。
结构正确性(Accuracy)维度仍是最难啃的骨头,Agent模式中14个模型均分仅约30%,即便榜首gemini-3.1-pro也只有54.77%,近半数分子仍无法正确解析。


注:Agent模式下模型通过ReAct循环多轮调用化学分析工具,自主决定实验策略。Accuracy为RDKit规范化后SMILES精确匹配率, Avg Sim为Morgan fingerprint Tanimoto相似度均值,RMSCE为置信度校准误差(越低越好),i部分模型因数据缺失未报告RMSCE/Formula Cons./Avg Rounds。

注:Baseline模式下一次性将全部实验证据(rawdata)渲染进prompt,模型直接输出结构预测。Accuracy为RDKit规范化后SMILES精确匹配率,部分模型因数据缺失未报告RMSCE与Formula Cons.。

1.核心定位
MolQuest把化学结构鉴定建模为一次虚拟的实验室任务,模型拿到一个仅有UUID的未知样品,在多轮交互中自行决定下一步实验(¹H NMR、¹³C NMR、HRMS、IR、TLC、旋光度等),把多种表注数据逐步整合为唯一候选结构,最终输出推理出的SMILES。

不同于静态QA式化学评测,MolQuest要求模型自己决定做哪些实验、按什么顺序做,每次工具调用对应一次虚拟实验的金钱和时间成本,因此这个基准检验的不仅是考察模型记得多少化学知识,更是检验LLM是否真的具备溯因推理(Abductive Reasoning)、实验规划和成本意识这几项科研能力。

2.维度框架
MolQuest围绕5个一级能力维度展开评测,每个一级维度下设1~2个二级指标:
维度一:结构正确性
模型最终给出的SMILES是否与真实分子结构(经RDKit canonical化后)完全一致。
-
accuracy:精确匹配比例(%)
-
formula_conservation:预测分子式与真实分子式一致的比例
维度二:结构相似性
这个指标用来消除"全有或全无"的假象,LLM即使没完全对,也能看出预测结构与真值在Morgan fingerprint(r=2, 2048 bits)下的Tanimoto相似度有多高。
-
average_similarity:全部有效预测的平均Tanimoto相似度
维度三:化学合法性
这个维度把"格式塌方"和"推理错误"区分开来,看预测的SMILES字符串能不能被RDKit成功解析为合法分子图,避免污染Accuracy的解读。
-
validity_rate:RDKit成功解析的比例(%)
-
parsing_errors:解析失败的预测数
维度四:校准可靠性
考察模型自报置信度与真实结构相似度的匹配程度,在科研场景里,"答错且非常自信"比"答错但承认不确定"危害大得多。
-
average_confidence:模型自报置信度均值
-
rmsce:置信度vs实际相似度的均方校准误差(10 bin,越低越校准)
维度五:推理效率
Accuracy与Agent平均推理轮数的Pareto前沿,背后的逻辑是:每次工具调用都等于一次真实实验的成本。
-
pareto_acc_vs_rounds:Accuracy vs avg_rounds的Pareto前沿
3.维度设计依据
各维度独立报告、独立排序,Accuracy是榜单唯一主指标,其余指标作为侧面信号。
一级维度内部对全部535条样本等权简单平均,不做样本难度加权,也不存在多维度加权综合得分,Agent与Baseline两套模式分开排名,不做混合。
Agent模式下,模型面对的任务由14个化学分析工具决定,每个工具对应一次虚拟实验:


1. 测评集构建
评测集总共包含535条小分子,全部为"结构解析"类任务。
数据来源于近期高质量有机化学文献的Supporting Information,构建流程为:LLM辅助抽取 → 化学信息学(RDKit)合法性校验 → 专家人工复核。
筛选规则仅保留新合成的小分子有机化合物,要求同时具有独立¹H NMR与¹³C NMR,剔除有机金属配合物和聚合物。
证据字段分布方面:¹H NMR与¹³C NMR几乎100%存在(硬性筛选条件),HRMS覆盖率较高,¹⁹F/³¹P NMR仅在含杂原子样品上出现,TLC/旋光度等为低频补充字段。
2. 评分方法
MolQuest全部维度统一采用纯化学信息学客观评分,不使用任何LLM裁判模型、人工评分或ELO对战评分,原因是:化学结构任务有唯一可验证答案(SMILES + RDKit canonical),无需主观打分。
最终总分:Accuracy(%) = correct_count / total_samples × 100,对全部535题等权简单平均,每次评估可复现,保证任何评分可一比一重放。
具体评分方式主要分为两种:
-
精确匹配(主指标):RDKit canonical SMILES字符串完全相等,0/1二分制
-
分子相似度匹配:Morgan fingerprint(半径2, 2048 bits)Tanimoto相似度,0.0~1.0连续值
3. 模型接入方式
本次评测的14个模型均通过API调用,没有本地部署,每条样本单次运行,不做多次取平均。

-
结构正确性榜单

注:gpt-5.5-high采用了Baseline模式下的数据(gpt-5.5-high在Baseline模式下Accuracy更高),Formula Conservation为预测分子式与真实分子式一致的比例,部分模型未报告该指标。
-
结构相似性榜单

注:Avg Sim为Morgan fingerprint(r=2, 2048 bits)Tanimoto相似度均值,衡量"即使没答对,结构有多接近"。
-
化学合法性榜单

注:Validity为RDKit成功解析SMILES的比例,deepseek-v3.2-thinking在Agent模式下产生156个解析错误,deepseek-v4-pro在Agent模式下Validity仅55.70%,大量输出非法SMILES。
-
校准可靠性榜单

注:RMSCE为置信度vs实际相似度的均方校准误差(越低越好),部分模型未报告RMSCE,claude-opus-4.5、doubao-2.0-pro、claude-sonnet-4.5因数据缺失未列入本表,Avg Conf为模型自报置信度均值。
-
推理效率榜单(Agent模式)

注:Avg Rounds为Agent模式下平均推理轮数,效率评价为基于Accuracy与Avg Rounds的Pareto前沿定性描述,部分模型未报告Avg Rounds。

1. 三档梯队结构明确,头部领先与尾部断档并存
Agent模式下,14个模型呈现清晰的三梯队格局:第一梯队(Accuracy≥47%):gemini-3.1-pro(54.77%)、gemini-3-flash(51.03%)、gemini-3-pro(47.85%),三者均为Google Gemini系列,梯队内分差控制在7分以内,与第二梯队尾部拉开近4分差距,claude-haiku-4.5以11.40%垫底,与榜首之间差出43.37个百分点。Baseline模式格局有所调整,gpt-5.5-high以52.15%反超所有Gemini模型登顶,但整体三梯队划分基本稳定。
2. Validity与Calibration偏科明显
模型在五个维度之间的表现差异很大,化学合法性(Validity)是表现最好的维度,Agent模式下头部10个模型均突破85%,claude-opus-4.5以97.76%居首,说明主流大模型在SMILES格式生成上已经比较成熟。
结构正确性(Accuracy)是最弱的维度,14模型Agent模式均分仅约30%,即便榜首也只有54.77%,分子结构的精确解析仍是硬骨头。
校准可靠性(Calibration)分化最为明显,claude-opus-4.6 Agent模式RMSCE仅0.075(置信度0.689),准确率不是最高但极少过度自信;gemini-3-pro Avg Conf高达0.957但RMSCE 0.227,置信度虚高;glm-5(0.384)和kimi-k2.5(0.394)RMSCE接近0.4,在科研场景下可靠性存疑。
头部模型擅长的方向也完全不同,gemini-3.1-pro只用2.44轮就拿到54.77%,赢在效率;gpt-5.5-high的Baseline反而比Agent高近10分,赢在静态推理;claude-opus-4.6的RMSCE全场最低,赢在校准。

MolQuest评测集已同步上线至晓天衡宇评测社区官网,欢迎大家访问查看更详细的评测数据。

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

更多推荐



所有评论(0)