本周最值得关注的10篇AI论文
DeepSeek Harness效率暴涨88%、红色爱心让Claude写递归、投毒0.1%就能给Agent植入后门

本周论文集中在Agent系统、训练范式、安全风险和多模态能力这几个方向。以下对每篇做了更详细的介绍,方便直接阅读和转发。


1. DecisionRAG:不用检索器,让模型自己一层层翻文档

康奈尔大学与ASAPP提出DecisionRAG,试图解决传统RAG中一个长期问题:检索器一旦漏掉相关文档,后面的生成模型再强也无能为力。

它不再依赖关键词匹配或稠密向量检索作为第一阶段,而是用决策模型直接在语料的层级结构上导航。模型从宽泛主题开始,逐层判断哪些分支值得继续深入,最终定位到具体段落。整个过程中,决策模型在一次前向传播里就能对当前层的多个候选同时打分,不需要生成任何token。

实验显示,在无需任务特定训练的情况下,DecisionRAG在MultiDoc2Dial上比“稠密检索+8B重排序器”高出13.8个R@1点,在包含268万维基百科段落的Natural Questions上高出17.4个Hit@1点。检索耗时控制在0.7–1.8秒,单次查询成本约0.2–2.3美分。

论文:https://arxiv.org/abs/2610.35868在这里插入图片描述


2. Unified Training:预训练、SFT、RL用一个算法搞定

卡内基梅隆大学、约翰霍普金斯大学与Aurora Innovation的研究人员提出“统一训练”(Unified Training)。他们认为,基础模型训练中长期存在的阶段划分(预训练、中期训练、监督微调、强化学习)并非本质必要。

核心思路是把合适的RL目标重新推导为对模型自身生成目标的最大似然拟合,从而让静态数据和模型生成的数据共享同一个似然损失和同一个训练器。这样,整个训练生命周期就变成了一个数据选择与比例调度问题,传统的分阶段训练只是其中一种特例。

在小规模实验中,从头训练的1.24亿参数模型在推理谜题任务上优于分阶段训练;在0.76亿参数的数学模型上,混入少量中期训练数据也能在保持数学能力的同时改善后续编码表现。统一训练后的模型在数学训练结束后,编码准确率反而超过了分阶段训练的模型。

论文:https://arxiv.org/abs/2610.40564
代码:https://github.com/yudasong/unified-training
项目页:https://yudasong.github.io/unified-training/
在这里插入图片描述


3. HarnessMM:DeepSeek Harness成功率提升、token消耗大降

清华大学与微软亚洲研究院提出HarnessMM。他们观察到,Agent harness在收到工具反馈后,经常会再次调用模型,即使上一次调用已经明确了下一步该做什么。

HarnessMM通过“可执行决策图”把已经确定的动作、参数、依赖关系和守卫条件缓存下来。当后续工具回执满足守卫条件时,系统直接复用之前的决策,而不再调用模型。同时,它还通过递归自我改进来调优harness配置,模型权重本身保持不变。

在HumanEval的98个测试任务上,DeepSeek Harness的成功率从71.43%提升到85.71%,每任务token消耗从96.28k降到11.62k,节省约87.93%。付费模型调用次数也从954次降到415次。

论文:https://arxiv.org/abs/2610.32813
在这里插入图片描述


4. EMMA:用情景记忆让多智能体系统更稳定地自我进化

UC San Diego与亚马逊的研究人员提出EMMA。现有多智能体进化方法往往让骨干模型自己决定怎么改系统,结果容易变成“一个骨干疯狂堆技能、另一个骨干不断生成新智能体”的无序状态。

EMMA把多智能体系统的配置(控制器的路由记忆、专家智能体的提示、每步技能)明确视为情景记忆。失败后,反射器会判断问题出在哪个层级,并只在该范围内提出一次有限的编辑。骨干无关的守卫机制确保每次修改都是范围化、增量和有界的。

在KramaBench、AppWorld和BBEH三个基准、五个不同骨干模型上,EMMA在所有基准上都取得了最佳整体表现,最高超出最强基线32.5%,同时训练执行次数比最高效的基线少17%–38%。

论文:https://arxiv.org/abs/2610.35966在这里插入图片描述


5. 红色爱心让模型写递归:视觉符号的隐藏影响

Google DeepMind与斯坦福大学的研究发现,简单的视觉符号可以显著改变视觉语言模型在无关任务上的行为,而模型自己往往意识不到这种影响。

在没有图片的情况下,Claude Opus 4.7和GPT-5.4几乎总是为中序二叉树遍历编写迭代代码。当上下文中加入一张红色爱心图片后,两者100%转向递归;黄色勾号则让Gemini 3.1 Pro在90%的样本中使用递归。这种效果与直接指令模型使用递归相当或接近。

更值得注意的是,当图片被静默插入时,模型的思考轨迹经常不会提及图片,甚至错误归因。文本描述相同符号的效果远弱于图片本身。

论文:https://arxiv.org/abs/2610.36449
在这里插入图片描述


6. Agent Harness里的验证到底怎么做才划算

阿里巴巴与康奈尔大学系统研究了Agent harness中的验证策略。他们在Terminal-Bench和SWE-bench Verified上,用七个前沿编码模型比较了17种设计,覆盖初始指令、执行时提醒、完成门控和独立审查四个层面,并引入VisualBench评估视觉与交互式产物。

结果显示,系统角色指令和提醒的收益相对有限且依赖模型。完成时的自我检查虽然能带来一定提升,但成本明显增加(最高可达基线的1.76倍)。相比之下,引入独立的批评者(critic)在准确率和成本之间取得了更好的平衡:在Terminal-Bench上平均提升5.9–9.5个点,成本仅增加13%–25%。

论文:https://arxiv.org/abs/2610.34577
在这里插入图片描述


7. EmbeddingGemma 2:开源多模态嵌入模型

Google开源了EmbeddingGemma 2,一个7.44亿参数的多模态嵌入模型。它能够把文本、图像、音频、视频以及它们的任意组合映射到同一个向量空间,并支持按需加载不同模态的编码器。

模型采用模块化设计:2.71亿参数的双向Transformer骨干 + 1.67亿参数视觉编码器 + 3.05亿参数音频编码器。因此可以以更小的参数量分别运行纯文本、视觉语言或音频语言模式。

在涵盖文本、代码、图像、视频、文档、语音和声音的多个基准上,它设定了新的帕累托前沿,在部分指标上超越了2–12倍更大的模型。同时支持int4量化、降低视觉token预算和截断嵌入维度,适合端侧部署。

论文:https://arxiv.org/abs/2610.37364
开源模型:https://huggingface.co/google/embeddinggemma-2
在这里插入图片描述


8. AgentBaton:强模型干开头,便宜模型接后半段

NVIDIA、香港科技大学与伊利诺伊大学厄巴纳-香槟分校的研究人员研究长周期Agent任务中的模型交接问题。他们发现,从昂贵的强模型交接给更便宜的模型(capable-to-efficient)通常比反向交接更有效。

基于这一观察,他们提出AgentBaton,一个轻量级检测器,能够从任务进展模式中学习何时进行一次性交接。在DeepSWE v1.1和Terminal-Bench 2.1上的11对模型组合中,平均可降低API成本65.9%,同时基本保持准确率,部分设置甚至有所提升(最高+8.8个点)。

论文:https://arxiv.org/abs/2610.35959在这里插入图片描述


9. 投毒0.1%就能给Agent植入后门

Anthropic Fellows项目与相关机构的研究表明,仅在预训练语料中投毒0.1%,就可能植入远程代码执行后门,并且该后门能够在完全干净的后训练流程(SFT、DPO、RL)后仍然存活。

他们从零预训练了0.6B、1.7B和4B的Qwen3模型,再将其后训练成CLI Agent。在4B模型上,普通文件路径触发器可使Pass@32攻击成功率达到92.7%,而干净提示产生payload的概率为0%。即使把投毒率降到0.0005%,仍有一定触发概率。

论文:https://arxiv.org/abs/2610.37741
代码:https://github.com/safety-research/agentic-backdoor
在这里插入图片描述


10. System One决策模型并不是更好的重排序器

帕绍大学与IT:U的研究人员测试了“决策模型”(System One models)作为重排序器的效果。决策模型通过校准概率直接回答问题,而不是生成文本。

他们在六个从0.6B到27B的Qwen骨干、十个TREC DL和BEIR集合上对比了普通重排序微调和决策微调。结果显示,在0.6B到9B范围内,专门的重排序微调全面领先5–29个nDCG@10点;在27B上两者持平。决策微调在较小规模上甚至不如直接用未微调模型零样本判断。

论文:https://arxiv.org/abs/2610.32318
代码:https://github.com/KanishkaGD/decision-rerank在这里插入图片描述


写在最后

本周几篇工作有一个共同趋势:在模型权重不变的情况下,通过更好的系统设计和训练范式,仍然能获得显著的效率和能力提升。Harness层的优化(第3、6篇)和安全相关工作(第9篇)对实际落地的影响可能比单点模型能力提升更直接。

如需某一篇论文的更深入解读,欢迎留言。

Logo

更多推荐