📖标题：DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
🌐来源：arXiv, 2610.19376v1

🛎️文章简介
🔸研究问题：长任务智能体在上下文压缩后，为何会频繁重复执行已做过的无效操作（即陷入“循环”），以及如何无需人工标注就能解决这一问题？
🔸主要贡献：论文提出DeLoop方法，利用智能体自身运行中产生的“循环动作”作为负样本，“打破循环的动作”作为正样本，通过自监督偏好优化训练，显著减少重复行为并提升效率。

📝重点思路
🔸定义与发现循环：将智能体重复调用相同工具且获得相同观察结果的行为定义为“循环”。研究发现，即使有完整历史，循环也存在；但一旦为了适应上下文窗口而压缩历史记录，循环频率会急剧上升，且陷入循环的任务失败率极高。
🔸自监督数据挖掘：无需外部奖励或专家标签，直接从智能体的单次运行轨迹中挖掘训练数据。将检测到的循环动作标记为“拒绝项”（负样本），将同一轨迹中随后第一个打破循环的非重复动作标记为“选择项”（正样本）。
🔸直接偏好优化训练：使用直接偏好优化（DPO）算法，基于上述自挖掘的正负样本对智能体策略进行微调。该方法迫使模型学习避免重复无效操作，转而采取能推进任务的新动作。
🔸跨域混合增强：除了单一任务数据，还引入其他环境（如ALFWorld）的循环数据混合训练，进一步提升模型在复杂场景下的泛化能力和任务成功率。

🔎分析总结
🔸大幅降低循环率：在CodeGym基准测试中，DeLoop将Qwen3-8B模型的循环任务占比从57.3%降至6.1%，降幅达9.4倍，同时保持了相当的任务成功率。
🔸显著减少交互成本：由于避免了无效重复，每个任务的平均执行步数减少了约三分之二，Token消耗大幅降低，提升了运行效率。
🔸提升大模型性能：对于更大的Qwen3-32B模型，DeLoop不仅减少了循环和步骤，还将任务成功率从37.7%提升至44.8%，证明该方法能有效释放模型潜力。
🔸泛化性强：该方法在不同压缩设置、多种记忆管理策略以及其他智能体环境（如AppWorld、ScienceWorld）中均表现出良好的鲁棒性和通用性，且未损害模型的基础通用能力。

💡个人观点
论文的创新点在于“变废为宝”，传统方法依赖昂贵的人工标注或复杂的奖励模型来纠正AI错误，而DeLoop巧妙地利用AI自身犯错的过程作为教学素材。