📖标题：Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
🌐来源：arXiv, 2610.22192v1

🛎️文章简介
🔸研究问题：如何让终端智能体（Terminal Agents）将验证器的结果转化为有效的策略更新，并将部分任务进展转化为完整的任务解决能力，从而克服长程任务中的信用分配难题和价值漂移？
🔸主要贡献：论文提出了Terminal-RSI框架，通过交替进行递归自我重写（RSR）和继承评论家的递归策略精炼（RPR），结合新型奖励机制和信用分配方法，显著提升了智能体在复杂终端任务上的成功率。

📝重点思路
🔸递归Actor-Critic框架：设计了五阶段训练流程（Base, RSR-1, RPR-1, RSR-2, RPR-2）。RSR阶段仅更新Actor，利用验证过的轨迹进行重写；RPR阶段联合更新Actor和Critic，并通过“预热评论家模型”和参数继承机制，防止因策略剧烈变化导致的价值估计失效。
🔸改进的信用分配算法TB-GAE：提出Turn-Boundary Skip-Observation GAE，在保留Token级基线的同时，按交互轮次而非Token长度应用衰减。这解决了观察Token过多导致的有效决策信用被稀释的问题，确保信用准确归因于关键决策点。
🔸动态奖励演化机制：引入Family Dense Reward (FDR)校准不同任务族的语义进展，避免检查项数量差异带来的偏差；提出Success-Prioritized Reward (SPR)，严格区分完全成功与部分得分，降低失败轨迹的奖励权重，引导智能体从局部修复走向完整验证。
🔸分阶段自适应优化：在RPR阶段采用特定的学习率调度，先冻结Actor进行Critic校准，再进行联合优化，并在第二轮精炼中降低Actor学习率，以平衡探索与稳定性。

🔎分析总结
🔸性能显著提升：Terminal-RSI-27B在Terminal-Bench 4.0上达到19.84%的成功率，在Terminal-Bench 2.1上达到86.52%，在Hard基准上达到79.00%，相比基线模型有大幅进步，且优于部分前沿闭源模型。
🔸长程任务突破：在Long-Horizon Terminal-Bench (LHTB) 上，过程奖励从0.21提升至0.37，严格完成任务数从0增至5/46，证明该方法能有效处理长依赖链任务。
🔸奖励机制有效性：离线重评分显示，SPR奖励将失败轨迹获得的奖励占比从50.09%降至28.72%，有效抑制了高分失败现象，使智能体更关注最终的正确执行结果。
🔸泛化能力验证：在与训练集无重叠的SWR100基准上，成功率从3.00%翻倍至6.00%，表明模型具备较好的泛化能力，尽管后期出现平台期。

💡个人观点
论文的核心创新在于“递归耦合”与“精细控制”，理解终端任务中Token生成与环境变化不同步的痛点。