从自动优化到自主进化的路线图：落地路径与最佳实践

title: “从自动优化到自主进化的路线图：落地路径与最佳实践”
authors: “DeepThink.ai”
affiliations: “AI Genius Institute”
keywords: “自主进化；智能体；自动优化；Harness 工程；递归自我改进；评估与治理”

摘要

大语言模型（Large Language Model, LLM）智能体的能力不仅取决于基础模型，也取决于由提示、工具、上下文管理、记忆与工作流构成的执行外壳（harness）。过去数年，提示优化、程序搜索与智能体架构自动设计显著降低了手工工程成本；近期，让智能体依据自身经验持久修改 harness、记忆乃至策略的“自进化”系统，进一步把优化对象从单一工件扩展到整个智能体系统。然而，现有研究在概念边界、工程路径与治理机制上仍呈碎片化：一些被称为“自进化”的系统只完成一次性离线搜索，另一些系统在缺乏可靠评估与回滚机制的情况下在线自改，带来性能回归、代理指标失效与组合安全风险。本文提出一个从自动优化走向自主进化的五级成熟度模型（L0–L4），以更新对象、持久性、提案者、评估来源、开放性与监督强度六个维度刻画自主程度；给出包含经验底座、诊断归因、提案引擎、评估器栈、验收门、版本回滚与治理观测的参考架构；并把落地过程拆分为基线建设、单点优化、harness 自优化、闭环进化与受治理开放进化五个阶段。基于对 20 余项可验证研究的证据综合，本文提炼出“评估先行、隐藏集与回归集分离、多目标验收、评估器多元化、小步可回滚、人类锚点不可外包”等最佳实践，并给出可执行的评估协议与治理清单。本文不报告新的实验结果；所有引用数值均来自原论文，未核实之处以 TODO 标注。本文的立场是：自主进化不是越高越好，而是由任务可验证性、风险等级与组织治理能力共同决定的选择。

---

你离拥有一支永不停歇、持续进化的 AI 超级研发团队，只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统（AI OS）：在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务，作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统，支持桌面端+浏览器+移动端，让 DeepThink 成为你的全能数字助手；它不止让你使用 AI，更要让你从工具使用者进化为代码创造者，最终成长为可自我繁衍的超级智能体，让每家企业都拥有自己的 AI 超级研发团队，一起走向 AGI——现在就去 git clone，顺手点亮 Star：你收藏的不是一个仓库，而是通往 AGI 的入场券。🚀

DeepThink，开源企业级自主 Agent 超级智能体自进化平台，是从 Harness Engineering 到 Loop Engineering 范式的先行者，面向企业客户的新一代 AI 基础设施（AI Infra）。DeepThink 平台以多 Agent 协作框架为核心，融合 AI 自主编程（AI Coding）、自主进化（Self-Evolving）、全栈可观测性（Full-Stack Observability）、Bug 自修复闭环（Bug Auto-Fix Loop） 与 程序员-Agent 共生协作（Human-Agent Symbiosis），构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码（如果你觉得好玩，就一起来玩， Star 一下）：
Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink
Github: https://github.com/AIGeniusInstitute/deepthink

---

1 引言

1.1 从手工工程到系统级自进化

智能体的能力由两部分共同决定：策略模型（policy）与执行外壳（harness）。策略模型提供推理、生成与决策能力；harness 决定模型看到什么、能调用哪些工具、如何管理上下文、何时终止任务 [12]。同一个基础模型在不同 harness 下可能表现出显著不同的任务成功率。因此，智能体工程的焦点正在从“写更好的提示”转向“自动搜索更好的提示、工作流、工具与代码”。

这条路径大致经历三个阶段。第一阶段是手工工程：工程师编写提示、工具描述（tool schema）与控制流，依靠经验与离线评测迭代。第二阶段是自动优化：把提示、示例或复合系统变量视为可优化参数，用 LLM 作为优化器，在固定验证集上搜索更优配置 [1–3]。第三阶段是系统级自进化：智能体不仅优化单个工件，还持久地修改 harness、记忆、技能库乃至策略，并在多轮部署中积累经验 [7–14]。

近期系统已经把这一趋势推进到新的阶段。Self-HPO 交替优化 harness 与策略，报告联合增益超过单独增益之和 [12]；Living-Harness 把轨迹转化为结构化经验并持久写入 harness 状态 [13]；Self-Evolving Harness 让同一模型同时充当求解者与提案者，并在多任务与分布外（Out-of-Distribution, OOD）基准上验证演化后的 harness [14]；A-Evolve-Training 与 Athanor 把自主闭环推进到 30B 级模型的后训练 [17,18]。这些结果表明，“持久地自我修改”已经不只是概念演示，而是一个可以被工程化、被评测、也需要被治理的对象。

1.2 三个结构性断层

尽管进展迅速，现有实践仍存在三个结构性断层。

第一是概念断层。“自动优化”“推理时自我修正”“自进化”“递归自我改进（Recursive Self-Improvement, RSI）”经常被混用。Reflexion 这类方法在单次任务内维护反思记忆 [5]，但它通常不会跨部署持久改变系统；OPRO、DSPy 与 TextGrad 优化提示或复合系统变量 [1–3]，但搜索空间与目标函数由人类预先固定；DGM 与 SICA 修改自身代码 [10,11]，但主要在离线基准与沙箱中运行。概念混用使得不同系统的“自主程度”无法比较，也使团队难以判断自己究竟处在落地路径的哪一级。

第二是工程断层。现有工作大多聚焦单一机制：有的只做提示进化，有的只做代码搜索，有的只做记忆积累。缺少一个把经验采集、失败诊断、候选生成、评估验证、验收部署、版本回滚与治理观测串起来的参考架构。结果，团队往往在两个极端之间摇摆：要么停留在低风险的提示优化，要么直接上线缺乏回归门与回滚机制的自改系统。

第三是评估与治理断层。现有基准在任务分布、评分方式与运行预算上差异很大；分布外泛化、回归率、组合安全与成本效率很少被同时报告。更关键的是，单个组件更新可能各自安全且各自保持效用，但组合之后产生不安全行为。近期研究在三个安全基准上识别出 43 个二元组合失败与 18 个不可约的三元组合失败 [15]。这说明安全不能只在单次更新上做局部检查，而必须成为进化闭环的一等约束。

1.3 本文主张

本文把“自主进化”限定为一个可操作、可验证、可治理的概念：系统在跨任务、跨部署的时间尺度上，依据自身经验持久修改至少一个系统组件，并由独立于提案过程的评估与验收机制决定是否保留修改。基于这一限定，本文提出一个五级成熟度模型，把“自动优化”与“自主进化”放在同一条路径上，但明确它们不是同义词，也不是简单的“越自主越好”。

本文的核心主张有三点。第一，自主进化的瓶颈正在从“生成候选”转移到“可靠评估”。当提案成本下降后，系统能走多远，取决于评估器能否稳定地区分真实改进、局部过拟合与代理指标投机。第二，进化对象应按可验证性分层：先优化可被测试与回滚的工件，再逐步扩展到 harness 代码、记忆、技能与策略；跨越式地开放高风险的自我修改，通常不会带来可持续收益。第三，自主性必须与治理能力匹配：每一级自主性都需要对应的隐藏集、回归门、安全监控、审计日志与人类锚点，否则“进化”会变成“漂移”。

1.4 贡献

本文的贡献如下。

• 提出六维自主性刻画与 L0–L4 五级成熟度模型，给出每一级的更新对象、提案者、评估来源、持久性、开放性与监督强度，并给出可操作的晋级、降级与退出准则。
• 给出面向落地的参考架构，覆盖经验底座、诊断归因、提案引擎、评估器栈、多目标验收门、版本化与回滚、进化控制器、课程生成与治理观测九个环节；形式化进化闭环，并给出伪代码。
• 综合 20 余项可验证研究，提炼五阶段落地路径、十条最佳实践与八类反模式；所有引用数值均标注来源，不把不同基准的结果直接横向比较。
• 提出一套可执行的评估协议与治理清单，覆盖任务效用、分布外保持、回归率、安全违规、成本效率、人类监督负担与可复现性，并给出待执行实验的占位表格。
• 讨论评估器共进化、组合安全、目标修订与开放-ended 搜索等开放问题，指出 L4 目前只有部分证据支持，不宜作为默认目标。

1.5 研究范围与假设

本文的研究范围与假设如下。

• 假设 A1（概念范围）：本文所称“自主进化”指持久、可验证、受治理的自我改进，不包含无限制的 RSI 主张，也不把单次任务内的自我修正视为进化。
• 假设 A2（证据范围）：证据检索截至 2026 年 10 月 19 日，覆盖 arXiv 的 cs.AI、cs.CL 与 cs.SE 分类。文中数值均来自原论文报告，本文未独立复现实验。
• 假设 A3（模型性质）：L0–L4 是规范性成熟度模型，用于工程决策与风险沟通，不是对系统能力的严格排序；高级别不等于更高性能，也不总是更优选择。
• 假设 A4（成本模型）：第 6.4 节的成本分析使用符号参数，不声称任何具体金额或算力数值；实际落地需以组织自身的账单与人力数据校准。
• 假设 A5（基准名称）：文中出现的 SWE-bench、τ²-bench、AgentDojo、GAIA、WebArena、HumanEval 等基准名称按原论文用法引用，本文不逐一复述其构造细节，也不对其数据统计量作独立断言。

1.6 组织结构

第 2 节按技术流派梳理相关工作；第 3 节给出问题形式化与五级成熟度模型；第 4 节给出参考架构；第 5 节给出分阶段落地路径、最佳实践与反模式；第 6 节进行证据综合并给出评估协议；第 7 节讨论适用边界、伦理与开放问题；第 8 节总结。附录给出符号表、命题证明、成熟度自评问卷与落地检查清单。

2 相关工作

2.1 自动提示与程序优化

自动优化的核心思想是把自然语言提示或复合系统视为可搜索的变量，用 LLM 或搜索算法在验证集上寻找更优配置。OPRO 把优化任务写成自然语言，让 LLM 根据历史解及其分数生成新解；在提示优化任务中，OPRO 找到的提示在 GSM8K 上相对人工提示最高提升 8%，在 Big-Bench Hard 上最高提升 50% [1]。DSPy 把 LM 流水线抽象为声明式模块与文本转换图，并用编译器优化模块的提示与示例；其编译后的流水线相对标准 few-shot 提示通常提升超过 25%（GPT-3.5）与 65%（Llama2-13B-chat），相对专家示例最高提升 5–46% 与 16–40% [2]。TextGrad 把 LLM 给出的文本反馈视为“梯度”，在复合 AI 系统的计算图上反向传播，报告 GPT-4o 在 Google-Proof QA 上的零样本准确率从 51% 提升到 55%，LeetCode-Hard 优化任务相对提升 20% [3]。

这些方法奠定了 L1 的基础：固定搜索空间、固定目标函数、离线验证、一次性产出。它们的优势是成本可控、可复现、风险边界清晰；局限是搜索空间由人类预先定义，优化结果通常不跨任务持久演化，也不会修改评估器本身。与本文的关系是：L1 是路线图的起点，但不是终点；把 L1 的结果直接称为“自主进化”会掩盖评估与治理上的关键差异。

推理时自适应方法进一步降低了反馈延迟。Self-Refine 让同一模型生成初稿、给出反馈并迭代修改，在 7 项任务上平均绝对提升约 20% [4]。Reflexion 把语言反馈写入情景记忆，在 HumanEval 上报告 91% 的 pass@1，高于其对比的 GPT-4 基线 80% [5]。这类方法证明“反馈—修正”循环有效，但其记忆通常局限于单次任务或短期会话，不构成跨部署的持久进化。本文把这类方法归入 L0 的增强形态，并在第 3.2 节给出明确边界。

2.2 智能体架构与代码级自我修改

当优化对象从提示扩展到智能体代码时，搜索空间显著变大。ADAS 提出用元智能体在代码空间中不断编程出新的智能体，并把发现结果存入档案；实验显示自动发现的智能体可以超过手工设计，并能跨领域与跨模型迁移 [8]。STOP 让一个由语言模型驱动的脚手架程序改进自身，生成的改进器在下游任务上优于种子改进器；作者同时评估了生成代码绕过沙箱的频率，并明确指出由于模型本身未被修改，这不构成完整的递归自我改进 [7]。Gödel Agent 让智能体在高层目标引导下动态修改自身逻辑与行为，报告了持续自我改进并超过手工智能体的结果 [9]。SICA 让具备基本编码工具的智能体编辑自身代码，在 SWE-bench Verified 的随机子集上把性能从 17% 提升到 53% [10]。DGM 维护一个智能体档案，通过开放式探索不断生成新版本，在 SWE-bench 上从 20.0% 提升到 50.0%，在 Polyglot 上从 14.2% 提升到 30.7% [11]。

这一流派把路线图推进到 L2：系统可以修改自己的 harness 或代码，并通过基准测试筛选候选。其共同假设是“存在一个可自动计算的适应度函数”。当基准与真实部署分布一致时，这种搜索非常有效；当基准只是真实目标的代理时，搜索越强，越可能放大代理与目标之间的偏差。DGM 与 STOP 都把沙箱与人类监督作为安全前提 [7,11]，这提示 L2 的门槛不只是算法，还包括执行隔离与回滚能力。与本文的区别是：这些工作主要回答“能否搜到更强的智能体”，本文进一步回答“在什么组织与治理条件下，应该把这种搜索持久地部署到生产环境”。

2.3 Harness 自进化与持久经验

持久经验与技能库是 harness 自进化的早期形态。Voyager 在 Minecraft 中维护不断增长的技能库，并报告相对先前最优方法获得 3.3 倍的独特物品、2.3 倍的移动距离与最高 15.3 倍的科技树里程碑速度 [6]。这说明“可复用技能”本身可以成为跨任务进化的载体。Harness 自进化则把优化对象从技能库扩展到整个执行外壳。Self-HPO 让当前策略分析自身失败并提出新的 harness 候选，再在选定的 harness 下用强化学习更新策略；在三个编码基准上，Qwen3.5-35B-A3B 的平均 resolve 率从 57.8% 提升到 64.8%，且作者报告联合增益超过 harness-only 与 policy-only 增益之和 [12]。Living-Harness 把每条轨迹与评估信号转化为结构化更新证据，写入情景记忆与状态图，同时冻结工具与基础上下文；在由 τ²-Bench 与 MultiWOZ-2.4 派生的八个交互环境中，平均 Pass@1 相对最强基线分别提升 10.07 与 9.91 个百分点 [13]。Self-Evolving Harness 让同一冻结模型先作为求解者、再作为提案者读取完整运行记录并直接编辑 harness；从一个 49 行的种子 harness 出发，第一阶段在分布内基准上平均提升 4.48 分，在五个从未参与演化的分布外基准上平均提升 12.64 分，第二阶段在 Claw-Eval 上从 66.17 提升到 68.06 [14]。Turbo Harness 进一步指出，单一全局 harness 在不同任务实例上未必最优，因此研究实例自适应的 harness 优化 [23]。Macaron-V1 则把模型与 harness 组织为版本化配对，通过递归改进与持续学习积累经验 [22]。

这一流派把路线图推进到 L3：更新是持久的、跨任务的，并且开始处理“经验如何结构化”“如何避免遗忘”“如何做多任务泛化”等工程问题。其关键发现是：结构化经验比无界文本堆叠更可靠；多任务与分布外评估比单基准提升更能说明进化是否真实；harness 与策略之间存在相互强化关系，单独优化任一部分都可能次优 [12–14]。与本文的区别是：这些工作仍以单一系统或单一基准族为主，缺少统一的成熟度语言、跨组件的验收门与组织级治理框架。本文把这些机制放入同一个参考架构，并明确它们各自适用的级别。

2.4 自主科研与递归自我改进

Wei 等的综述把智能体推理组织为三个层次：稳定环境中的基础推理、通过反馈与记忆持续适应的自进化推理，以及多智能体协作的集体推理 [20]。这一分层与本文的成熟度模型互补：综述关注推理能力的组织方式，本文关注系统修改自身并持续部署的工程与治理条件。自主科研系统则把进化闭环从“修改智能体”推进到“修改训练流程与研究方法”。A-Evolve-Training 报告了一个无人值守的后训练系统：在数周内对 30B 参数 Nemotron 模型完成四轮后训练，最终在公开排行榜上取得 0.86 的 held-out 分数，接近人类最佳提交的 0.87，并在约 4000 个条目中排名第 8；更重要的是，该系统检测到自身开发指标与外部目标脱节，并修改了搜索策略 [17]。Athanor 让四个前沿智能体在 104 小时内自主完成后训练研究，把 Qwen3-4B-Base 在六任务开发集上从 15.9 提升到 67.3，在 held-out 集上从 9.2 提升到 48.2，接近官方 instruct 版本的 66.5 与 47.9 [18]。RQGM 让评估器与智能体共同进化，在 DeepSWE 上以低推理强度取得 82.1% 的 held-out 通过率，高于固定评估器基线的 75.0%，并在论文写作与数学证明任务中报告了更高的接受率 [19]。Terminal-RSI 交替进行轨迹自改写与策略精炼，尝试把验证器结果转化为策略更新 [21]。

这一流派提供了 L4 的部分证据：系统开始修改评估器、搜索目标或研究策略，而不仅是修改任务级工件。但“部分”很重要。A-Evolve-Training 的贡献是证明自主闭环可以在大规模后训练中闭合，并展示了代理指标失效后的策略修订；它并未声称系统可以无限制地修改自身目标。RQGM 的评估器共进化仍需要人类评分作为锚点。Athanor 的智能体在沙箱中工作，不能使用外部教师模型，评估集与 held-out 集由系统服务冻结。这些约束说明，L4 的可行性依赖于强治理基础设施，而不是“放手不管”。

2.5 评估、验证与安全治理

评估器质量正在成为独立的研究对象。Reward-Free Evolving Agents 用冻结 LLM 作为成对验证器，替代逐步标量奖励，在 GEPA、ADRS 与 ShinkaEvolve 三个自进化引擎、提示与代码两种工件上，多数设置达到或超过完整奖励基线；跨模型替换验证器后结论仍然成立 [16]。Tool Verification for Test-Time RL 指出，测试时强化学习常用的多数投票奖励可能把错误答案当作共识，因此需要对工具使用与验证过程本身做检查 [24]。AgenTracer 研究多智能体系统的失败归因，试图定位是哪个智能体或哪一步导致了系统失败 [26]。这些工作共同说明：评估不是进化 loop 外面的一个分数，而是 loop 内部最容易被攻击、也最需要被验证的组件。

安全侧的进展同样关键。Compositional Safety Failures in Harness Evolution 系统研究了跨组件更新的组合安全：在 AgentDojo、Agent-SafetyBench 与 Agent Security Bench 上识别出 43 个二元组合失败与 18 个不可约的三元组合失败；作者用类型化超图表示组件状态与高阶交互，只更新变更状态附近的交互邻域，并用运行时监控在动作生效前检查组合；实验报告残余组合失败率（Residual CFR）最高 1.27%，运行时检查只覆盖 20.1–33.6% 的候选动作 [15]。这项工作的核心结论是：即使每个组件更新单独安全且保持效用，组合之后仍可能不安全；因此验收门必须包含跨组件交互检查，而不能只做逐项审批。

与本文的关系是：第 2.1–2.4 节解决“如何产生改进”，第 2.5 节解决“如何相信改进”。本文把两者放进同一个闭环，并把评估器栈、组合安全监控与人类锚点列为路线图的硬约束。

2.6 小结

现有研究可以按“更新对象”与“持久性”排成一条连续谱：提示优化（L1）→ 代码级自我修改（L2）→ 持久 harness 与经验进化（L3）→ 评估器共进化与自主科研（L4 的部分形态）。这条谱系上的工作各有强项，但缺少三个共同基础：统一的自主性语言、跨组件的验收与回滚架构、以及把安全与成本纳入决策的治理协议。本文的目标不是提出又一个自进化算法，而是把已有证据组织成一条可执行、可审计、可降级的落地路线。

3 成熟度模型与问题形式化

3.1 符号与问题定义

本文把时刻 $t$ 的智能体系统定义为

$${\mathcal{A}}_t=({\pi }_t,H_t,M_t,E_t),$$

其中 ${\pi }_t$ 是策略模型与解码策略，$H_t$ 是 harness（提示、工具 schema、上下文管理、控制流与终止条件），$M_t$ 是持久记忆与技能库，$E_t$ 是环境（任务分布、工具、评估器与运行时）。策略模型决定能力边界，harness 决定能力如何被诱发，记忆决定经验能否跨任务复用，环境决定反馈是否可信。

一次经验记录定义为

$${\mathcal{D}}_t=\{(x_i,{\tau }_i,y_i,r_i,c_i,z_i){\}}_{i=1}^{n_t},$$

其中 $x_i$ 是任务，${\tau }_i$ 是轨迹（含工具调用与中间状态），$y_i$ 是结果，$r_i$ 是评估信号，$c_i$ 是成本，$z_i$ 是安全与风险元数据。经验底座的质量取决于这些字段是否完整、是否可追溯、是否与测试集隔离。

一次进化步定义为

$${\mathcal{A}}_{t+1}=\Phi ({\mathcal{A}}_t,{\mathcal{D}}_t,P,V,C,B),$$

其中 $P$ 是提案算子，$V$ 是评估器栈，$C$ 是约束集合（安全、合规、回归上限），$B$ 是预算。$\Phi$ 不是单一函数，而是一个包含提案、评估、验收、部署与回滚的复合过程。本文在第 4 节给出 $\Phi$ 的参考实现。

3.2 自动优化与自主进化的边界

本文用四个判据区分自动优化与自主进化。

• 持久性：修改是否跨越单次任务或单次会话，成为后续任务可复用的系统状态。
• 自提案性：候选是否由系统自身或其智能体种群提出，而不是完全由人类预先枚举。
• 多组件性：修改是否覆盖 harness、记忆、技能、策略等多个相互作用的组件，而不只是单一提示或单一程序。
• 治理性：是否由独立于提案过程的评估、验收与回滚机制决定保留，而不是由提案者自评自收。

据此，自动优化指：搜索空间与目标函数由人类固定，提案者可以是外部优化器，修改通常停留在工件层，且不要求跨部署持久化。自主进化指：系统在跨任务、跨部署的时间尺度上，依据自身经验持久修改至少一个系统组件，并由独立评估与验收机制决定是否保留。前者是后者的必要基础，但不是后者的充分条件。

需要特别区分三类容易被误称为“进化”的现象。第一，推理时自我修正（如 Self-Refine、Reflexion）在单次任务内改善输出 [4,5]，但没有持久改变系统，属于 L0 的增强。第二，离线提示或代码搜索（如 OPRO、DSPy、ADAS）可以自动产生更优工件 [1,2,8]，但搜索空间与目标由人类给定，属于 L1 或 L2。第三，基准驱动的开放式代码进化（如 DGM）在沙箱中持久修改自身代码 [11]，具备 L2/L3 的若干特征，但若没有生产环境的在线监控、回归门与回滚，就不能等同于生产级自主进化。

3.3 六维自主性刻画

本文用六维向量

$$\mathbf{a}(\mathcal{A})=(u,p,q,v,o,s)$$

刻画一个系统的自主程度。各维度定义如下。

维度	含义	低自主	高自主
$u$ 更新对象	系统可以修改什么	提示	harness 代码、记忆、技能、策略、评估器
$p$ 持久性	修改保留多久	单次任务	跨会话、跨部署
$q$ 提案者	谁提出候选	人类	外部优化器、同一智能体、智能体种群
$v$ 评估来源	谁判断好坏	人类评审	隐藏测试、学习型评审、共进化评估器
$o$ 开放性	任务与目标有多开放	固定任务集	分布外任务、自生成课程、开放-ended
$s$ 监督强度	人类介入程度	全量审批	抽样审计、异常触发、带安全包络的无人监督

六维向量不是标量分数，不能简单相加。一个系统可以在“更新对象”上很激进，却在“监督强度”上很低；这种组合通常意味着高风险，而不是高成熟度。成熟度级别是六维空间中的典型原型，用于沟通与决策，不替代逐项风险评估。

3.4 五级成熟度模型

本文提出 L0–L4 五级模型。表 1 给出每一级的典型特征、代表工作与核心风险。需要强调：级别是原型，不是严格分类；真实系统常常落在两级之间，且可能在某一维度高、另一维度低。

表 1 五级成熟度模型

级别	名称	更新对象	提案者	评估与验收	持久性	代表工作	核心风险
L0	手工工程与推理时自适应	人类编写的提示、流程与输出	人类；模型在单次任务内自修正	人工评审、固定测试	版本发布；单次会话	Self-Refine、Reflexion [4,5]	把短期修正误认为持久进化
L1	单工件自动优化	提示、示例、工具描述、少量超参	外部优化器或 LLM	固定验证集、标量指标	离线、一次性产出	OPRO、DSPy、TextGrad [1–3]	验证集过拟合、指标单一
L2	Harness 自优化	harness 代码、工作流、工具策略	同一模型或更强外部模型	隐藏验证集、回归测试、沙箱	跨 episode 版本化	STOP、ADAS、Gödel Agent、SICA [7–10]	代码自改失控、基准过拟合
L3	闭环自主进化	harness、记忆、技能、策略的多组件组合	进化控制器 + 自提案	多层评估、在线金丝雀、统计检验	持续、跨部署	DGM（偏 L2/L3）、Self-HPO、Living-Harness、Self-Evolving Harness、Macaron-V1、Athanor [11–14,18,22]	回归累积、经验污染、成本失控
L4	受治理的开放进化	组件、课程、评估器与目标解释	多智能体种群、共进化	共进化评估器、人类锚点、红队与外部审计	开放-ended	RQGM、A-Evolve-Training（部分满足）[17,19]	评估器共谋、目标漂移、责任真空

关于 L4 的说明。 当前公开证据只能支持 L4 的局部特征：RQGM 让评估器与智能体共同进化 [19]；A-Evolve-Training 展示了系统在检测到代理指标失效后修改搜索策略 [17]。这些系统仍依赖人类设计的基础设施、冻结的评估服务或人类评分锚点。因此，本文把 L4 视为“有条件的、受治理的开放进化”，而不是“完全自主、无需人类”的理想状态。没有证据支持无限自我修改或目标完全自定的系统已经可以安全部署。

3.5 晋级、降级与退出准则

成熟度模型的工程价值在于“何时可以进入下一级”和“何时必须退回上一级”。表 2 给出一组可操作的准则。

表 2 晋级、降级与退出准则

跃迁	必要能力	验收证据	常见失败	降级或退出条件
L0 → L1	可复现基线、版本化评估集、成本核算	同一基线在多次运行中给出稳定置信区间	测试集泄漏、指标噪声大	无法复现基线，或评估集与训练集重叠
L1 → L2	沙箱执行、隐藏验证集、回归测试、回滚	多轮优化后分布内提升且回归不超阈值	只优化单基准、代码修改不可审计	安全事件、回归率超阈值、无法回滚
L2 → L3	多组件版本化、持久记忆治理、在线监控、金丝雀	跨部署多轮提升，OOD 保持，无重大事故	经验污染、记忆膨胀、评估器漂移	回归累积、经验冲突、成本超预算
L3 → L4	共进化评估器、人类锚点、目标修订协议、外部审计	安全案例、红队结果、审计通过、紧急制动演练	评估器共谋、目标漂移、责任不清	审计不通过、人类监督能力不足、事故不可控
任意级别	持续监控	事故率、回归率、成本、漂移指标在容忍范围内	把级别当成绩、忽视运维	指标越界即降级，不等待季度评审

晋级不是一次性评审，而是持续资格。一个系统即使技术上达到 L3，如果事故响应、审计能力或人力配置跟不上，也应停留在 L2。反过来，一个 L2 系统如果在特定低风险任务上具备完整回滚与监控，也可以局部采用 L3 的机制。级别是配置项，不是荣誉勋章。

3.6 自主性不是越高越好

自主性的收益是更快的迭代、更低的边际人力成本与更强的分布外适应；成本是更高的评估负担、更大的安全面、更复杂的责任链。是否值得提高自主性，取决于三个变量：任务可验证性、风险等级与组织治理能力。表 3 给出一张决策矩阵。

表 3 自主性级别的选择矩阵

任务可验证性	风险等级	建议最高级别	理由
高（单元测试、形式化检查、可执行验证）	低	L4（受治理）	反馈可靠，回滚容易，适合开放式探索
高	中	L3	可以自动进化，但需强验收门与人类抽检
高	高	L3（强治理）	即使可验证，也需人类审批高风险变更
中（部分自动指标 + 人工评审）	低	L2/L3	先用多层评估降低噪声，再逐步放开
中	高	L2	评估噪声会放大风险，不宜在线自改
低（主观、长周期、难归因）	低	L2	可以优化工件，但持久进化需谨慎
低	高	L1/L2 + 人类监督	评估器难以可靠判断，必须保留人类决策

这张矩阵解释了一个常见误区：团队看到 DGM、Self-HPO 等系统在编码基准上的提升，就试图把同样的自主性搬到战略规划、医疗建议或法律意见等低可验证性、高风险场景。编码任务有测试作为强反馈，低可验证性任务没有；把前者的方法直接迁移到后者，等于把评估器的噪声当成真实改进。

4 参考架构

4.1 总体框架

本文提出的参考架构由九个环节组成：经验底座、诊断归因、提案引擎、评估器栈、验收门、版本化与回滚、进化控制器、课程生成、治理与可观测性。图 1 给出数据流。

┌──────────────────────────────────────────────────────────────────────┐
│                         治理与可观测层                                │
│   审计日志 · 权限与能力边界 · 预算 · 告警 · 人工审批 · 紧急制动        │
└──────────────────────────────────────────────────────────────────────┘
          ▲                    ▲                    ▲
          │                    │                    │
┌─────────┴─────────┐  ┌───────┴────────┐  ┌────────┴─────────┐
│    经验底座        │  │   诊断与归因    │  │   课程与任务生成   │
│ 轨迹 · 失败 · 成本 │→ │ 失败分类 · 归因 │→ │ 难度 · 多样性 · OOD│
│ 评估信号 · 环境版本│  │ 信用分配        │  │ 自生成任务         │
└─────────┬─────────┘  └───────┬────────┘  └────────┬─────────┘
          │                    │                    │
          ▼                    ▼                    ▼
┌──────────────────────────────────────────────────────────────────────┐
│                            提案引擎                                  │
│  变异算子：提示 / 示例 / 工具描述 / 工作流 / 记忆 / 技能 / 代码 / 策略  │
│  搜索策略：贪心 / 束搜索 / 进化档案 / MCTS / 多种群 / 开放式探索        │
└───────────────────────────────┬──────────────────────────────────────┘
                                ▼
┌──────────────────────────────────────────────────────────────────────┐
│                            评估器栈                                  │
│  执行验证 → 隐藏验证集 → OOD 集 → 对抗集 → 成对评审 → 人类抽检         │
│  安全基准 · 组合交互检查 · 成本核算 · 评估器校准与漂移监控             │
└───────────────────────────────┬──────────────────────────────────────┘
                                ▼
┌──────────────────────────────────────────────────────────────────────┐
│                       验收门与多目标决策                              │
│  效用↑ · 回归≤ε · 安全合规 · 成本≤B · 新颖性/多样性 · 可复现性         │
└───────────────────────────────┬──────────────────────────────────────┘
                                ▼
┌──────────────────────────────────────────────────────────────────────┐
│              版本化制品库 → 影子模式 → 金丝雀 → 全量 → 回滚           │
└──────────────────────────────────────────────────────────────────────┘

图 1 参考架构的数据流。 箭头表示信息流，不表示自动执行；每个跨层动作都受治理层约束。

4.2 经验底座

经验底座是进化系统的记忆。它至少应记录以下字段。

字段	含义	用途	风险控制
task_id	任务标识与来源	去重、分层统计、防止泄漏	与测试集 ID 隔离
distribution	任务分布与难度标签	OOD 分析、课程调度	标签由独立流程维护
trajectory	完整轨迹与工具调用	诊断、归因、复用	隐私脱敏、访问控制
outcome	成功/失败/部分成功	监督信号	明确定义成功标准
evaluator_signals	各层评估器的输出	校准、冲突分析	记录评估器版本
cost	token、工具、时间、算力	成本核算与预算	与账单系统对齐
safety_flags	安全事件、越权尝试、异常	事故复盘、门控	不可篡改日志
environment_version	工具、模型、依赖版本	复现、漂移检测	版本锁定

经验底座的设计原则是“结构化优先、可追溯优先、与测试隔离优先”。Living-Harness 的经验表明，把轨迹抽象为触发条件、失败模式与恢复动作，比把所有文本无差别地塞进上下文更有效 [13]。无界文本记忆会带来三个问题：检索噪声、上下文膨胀与污染传播。结构化记忆虽然设计成本更高，但更容易审计、过期与回滚。

4.3 诊断与归因

没有诊断的进化是随机搜索。诊断模块的任务是把“失败”转化为“可操作的修改方向”。本文建议至少覆盖以下失败类别：任务理解、规划、工具选择、参数构造、执行环境、上下文管理、记忆检索、验证与终止。每一类失败都应附带证据链，而不是只给一个标签。

诊断可用三种方法组合。第一，规则与执行日志：类型错误、超时、权限拒绝、工具返回码等可以直接分类。第二，反事实重放：固定其他条件，只替换一个组件或一步动作，观察结果是否改变。第三，LLM 辅助归因：让模型阅读轨迹并给出根因假设，但必须由执行证据或人类抽检校准。AgenTracer 的工作说明，多智能体系统的失败往往跨越多个角色与步骤，简单的最终答案归因不够 [26]。Self-HPO 则把训练中识别出的困难任务作为下一轮 harness 搜索集，使提案聚焦于策略当前的失败模式 [12]。这说明诊断的输出不应只是报告，而应直接进入课程与提案的输入。

4.4 提案引擎

提案引擎负责生成候选修改。本文建议按“风险—可验证性”对变异算子分层，而不是一次性开放所有修改。

表 4 变异算子的风险分层

变异对象	示例	风险	最低验证要求	适用级别
提示措辞	改写指令、增加约束	低	隐藏验证集 + 回归测试	L1
示例选择	检索或合成 few-shot	低	隐藏验证集	L1
工具描述	修改 schema 说明	中	工具调用测试 + 回归	L1/L2
工作流	增加/删除步骤、改变路由	中	端到端测试 + 回归	L2
记忆结构	改变检索、摘要、过期策略	中	记忆一致性测试 + 隐私检查	L2/L3
技能库	新增/删除可复用技能	中高	技能单元测试 + 冲突检测	L3
Harness 代码	修改控制流、工具封装	高	沙箱执行 + 隐藏测试 + 回滚	L2/L3
策略权重	SFT/RL 更新	高	离线评估 + 在线金丝雀	L3
评估器/评分规则	修改 rubric、验证器	极高	人类锚点 + 外部审计	L4

搜索策略应与任务结构匹配。贪心搜索适合单峰、低噪声的提示优化；束搜索适合中等规模的离散候选；进化档案适合开放式代码搜索，因为它能保留多样性并避免过早收敛，DGM 的档案机制是一个代表 [11]；MCTS 适合有明确中间状态与回放价值的任务；多种群方法适合需要同时探索多个方向的场景。无论选择哪种策略，都应维护一个“候选档案”，记录候选的谱系、评估结果与失败原因，以便审计与复用。

提案者的选择是一个成本—能力权衡。同一模型自提案成本低、上下文一致，但可能重复自身盲点；更强外部模型提案质量高，但引入依赖、成本与信息边界问题；人类提案适合高风险或低可验证性变更。Self-Evolving Harness 的结果表明，同一冻结模型在求解与提案角色间切换，可以在多任务上取得提升 [14]；Self-HPO 则显示，使用更强外部模型作为 harness 提案者可以进一步提高性能 [12]。实践中建议采用混合策略：低风险变更由系统自提案，高风险变更由更强模型或人类复核。

4.5 评估器栈

评估器栈是进化系统的“免疫系统”。单一评估器无论多强，都可能被优化压力击穿。本文建议按证据强度分层，并在验收时要求“强证据覆盖关键决策”。

表 5 评估器层级

层级	证据类型	优势	局限	适用阶段
E0	执行验证（单元测试、类型检查、lint）	客观、便宜、快	覆盖有限，可能被绕过	全阶段
E1	隐藏验证集	与训练隔离，较客观	覆盖有限，可能分布偏移	L1+
E2	OOD 与对抗集	检验泛化与鲁棒性	构造成本高，更新慢	L2+
E3	成对 LLM 评审	便宜、对比性强、无需标定尺度	位置偏差、冗长偏差、自偏好	L2+
E4	形式化验证/证明	证据最强	适用范围窄，建模成本高	高可验证任务
E5	人类专家评审	金标准，能处理开放目标	昂贵、慢、难以规模化	高风险变更
E6	共进化评估器	能适应新任务与新失败模式	共谋、漂移、自偏好放大	L4，需人类锚点

分层评估的关键不是“越多越好”，而是“证据与风险匹配”。低风险提示改写可以用 E0+E1+E3；harness 代码修改至少需要 E0+E1+E2 与回滚；策略更新需要 E1+E2+E5 与在线金丝雀；评估器修改必须引入 E5+E6 与外部审计。

成对评审值得单独讨论。Reward-Free Evolving Agents 用冻结 LLM 比较父代与子代，把标量奖励替换为二元判断，在多个自进化引擎与两种工件上多数设置达到或超过完整奖励基线 [16]。成对判断的优势是对比性强、无需严格校准分数；局限是它仍然是一个学习型判断，可能受位置、长度、措辞与自偏好影响。实践中应做三件事：随机交换左右位置、使用跨模型评审、保留人类抽检锚点。Tool Verification for Test-Time RL 进一步提醒，测试时奖励本身可能错误，因此不仅要评估智能体，还要评估“评估所依赖的工具与验证过程” [24]。

评估器本身需要被评估。本文建议维护一组“评估器健康指标”：与人类判断的一致性、跨模型一致性、对已知对抗样本的敏感性、随时间的漂移、以及在候选分布上的区分度。当评估器与人类锚点的相关性下降到阈值以下时，应暂停自动验收，转入人工复核。

4.6 验收门

验收门把评估结果转化为“是否保留”的决策。本文建议使用“硬约束 + 多目标占优”的结构：

$$\mathrm{Accept}({\mathcal{A}}^{\prime })=1\left[\Delta U\ge {\tau }_U\wedge \Delta R\le {ϵ}_R\wedge \mathrm{Safe}({\mathcal{A}}^{\prime })\wedge \mathrm{Cost}({\mathcal{A}}^{\prime })\le B\wedge \mathrm{Reproducible}({\mathcal{A}}^{\prime })\right],$$

其中 $\Delta U$ 是效用提升，${\tau }_U$ 是最小可接受提升，$\Delta R$ 是回归增量，${ϵ}_R$ 是回归容忍度，$\mathrm{Safe}$ 是安全约束，$B$ 是预算，$\mathrm{Reproducible}$ 表示候选可在固定环境下复现。硬约束不参与加权，安全与合规是一票否决；软指标在同一硬约束集合内做 Pareto 比较：

$${\mathcal{A}}^{\prime }\succ \mathcal{A}⟺\forall j,m_j({\mathcal{A}}^{\prime })\ge m_j(\mathcal{A})\wedge \exists j,m_j({\mathcal{A}}^{\prime })>m_j(\mathcal{A}),$$

其中 $m_j$ 可以是效用、延迟、成本、多样性等指标。Pareto 比较避免把不同量纲的指标强行加权，也避免“平均分提升但尾部风险恶化”的候选被误收。

验收门还应做风险分级审批。低风险变更可以自动通过；中风险变更需要金丝雀与抽样审计；高风险变更（策略权重、评估器、权限相关代码）需要人类审批。审批不是形式，而是责任分配：谁批准，谁对事故负责。

4.7 版本化、回滚与金丝雀

自主进化的前提是可回滚。每一次被接受的修改都应生成一个不可变制品，包含内容哈希、谱系、提案者、经验快照、评估器版本、环境版本与审批记录。制品库应支持按时间、任务、风险级别检索，并能一键回滚到任意历史版本。

部署应采用“影子模式 → 金丝雀 → 全量”的三段式。影子模式让候选在不影响真实用户的情况下运行，比较其输出与现网版本的差异；金丝雀把少量流量导向候选，监控任务成功率、延迟、成本、安全事件与用户反馈；只有当金丝雀指标在统计上不劣于基线且硬约束全部满足时，才允许全量。回滚触发器应自动化，包括成功率下降、回归率上升、安全事件、成本超预算与评估器漂移。团队应定期做回滚演练，确保回滚不是纸面能力。

4.8 进化控制器与课程

进化控制器决定“何时进化、进化多少、何时停止”。它至少应管理四类参数：候选预算（每轮生成多少候选）、评估预算（每轮花多少 token/时间做验证）、探索比例（多少预算用于探索新方向）、停止条件（连续多少轮无显著提升、预算耗尽、事故触发）。

课程生成决定“用什么任务驱动进化”。固定任务集会导致过拟合；完全随机任务会浪费预算。本文建议采用“难度分层 + 多样性约束 + OOD 保留”的课程：大部分任务来自当前能力边界附近，少量任务来自更高难度，另留一部分从未参与训练的任务用于评估。Interestingness 的研究把“有趣性”形式化为对未来压缩进度的诱导启发式 [25]，这为课程选择提供了一个可计算的方向：优先选择那些既能被当前系统部分解决、又能暴露新失败模式的任务。

多智能体场景还需处理角色共谋。提案者、求解者、评审者如果由同一模型扮演，可能形成“互相放水”的局部均衡。缓解手段包括角色轮换、跨模型评审、隐藏评审身份、引入人类锚点与对抗性评审。RQGM 的评估器共进化展示了收益，也提示了风险：评估器会随智能体一起漂移，因此必须保留外部锚点 [19]。

4.9 治理与可观测性

治理层不是附加项，而是进化系统的运行条件。本文建议至少实现以下能力。

• 权限与能力边界：按角色限制可修改的对象；代码执行在沙箱中进行；网络、文件系统、密钥与外部 API 的访问按最小权限授予。
• 审计日志：记录每次提案、评估、验收、部署与回滚的完整上下文，日志不可篡改，支持按事件追溯。
• 预算与配额：对 token、工具调用、算力、人工审核时间设上限；超限自动暂停。
• 告警与值班：对安全事件、回归、漂移、成本异常设置分级告警；明确值班与升级路径。
• 人工审批：高风险变更必须由具备相应权限的人批准；审批记录与变更绑定。
• 紧急制动：提供一键暂停进化、回滚到稳定版本、隔离受影响制品的能力，并定期演练。
• 安全案例与红队：在进入 L3/L4 前，形成书面的安全案例，包含威胁模型、攻击面、缓解措施与残余风险；定期进行红队测试。
• 组合安全监控：对跨组件交互做运行时检查，而不是只做逐项审批；可参考类型化超图与局部交互邻域的方法 [15]。

4.10 进化闭环伪代码

下面的伪代码给出一个最小可用的进化闭环。它不规定具体算法，只规定控制流与安全检查点。

输入：初始系统 A0，经验池 D，验证集 V，回归集 R，OOD 集 O，
      安全约束 C，预算 B，停止条件 S
输出：进化后的系统 A_T 与完整审计记录

A ← A0
archive ← {A0}
for t = 1, 2, ..., T do
    D_t ← Collect(A, task_sampler)          # 采集轨迹、成本、安全标记
    diagnosis ← Diagnose(D_t, R)             # 失败分类、归因、困难任务
    curriculum ← UpdateCurriculum(D_t, diagnosis, O)
    candidates ← Propose(A, diagnosis, archive, curriculum)

    evaluated ← []
    for A' in candidates do
        if not SandboxOK(A') then continue
        signals ← Evaluate(A', V, R, O, C)   # 多层评估
        cost ← EstimateCost(A')
        if HardConstraints(signals, C) and ParetoAccept(signals, A) then
            evaluated.append((A', signals, cost))
        end
    end

    if evaluated is empty then
        if StopCondition(S) then break
        continue
    end

    A_candidate ← Select(evaluated)          # 按风险级别选择
    DeployShadow(A_candidate)
    if ShadowPass(A_candidate, A) then
        DeployCanary(A_candidate, ratio=small)
        if CanaryPass(A_candidate, A) then
            A ← A_candidate
            archive ← archive ∪ {A}
            DeployFull(A)
        else
            Rollback(A_candidate)
        end
    else
        Rollback(A_candidate)
    end

    LogAudit(t, A, candidates, evaluated, signals)
    if SafetyIncident() or DriftDetected() or StopCondition(S) then
        PauseEvolution()
        break
    end
end
return A, AuditLog

伪代码中有三个容易被忽视的设计点。第一，SandboxOK 是硬前置条件，未通过沙箱检查的候选不应进入评估，避免评估过程本身触发风险。第二，HardConstraints 先于 ParetoAccept，安全与合规不能被效用加权抵消。第三，Rollback 是正常路径而不是异常路径；每个候选都必须具备回滚方案，否则不应被部署。

5 落地路径与最佳实践

5.1 阶段 0：基线与可观测性

目标：建立一个可信、可复现、可审计的起点。没有基线，任何“提升”都无法解释；没有可观测性，任何“进化”都无法止损。

关键动作：

• 明确任务分布、成功标准与失败定义，避免用模糊的“感觉更好”作为目标。
• 构建四类评估集：开发集、隐藏验证集、回归集、OOD 集；四者严格隔离，并有独立的版本管理。
• 记录完整轨迹：模型版本、提示版本、工具调用、中间状态、错误、成本与安全事件。
• 建立成本账本：token、工具调用、算力、人工审核时间分别计量。
• 建立安全基线：威胁模型、权限边界、沙箱、日志与事故响应流程。
• 对基线做多次重复运行，报告置信区间，而不是单次最好成绩。

交付物：评估 harness、轨迹 schema、基线报告、成本仪表盘、安全基线文档、回滚演练记录。

退出条件：同一基线在固定环境下可复现；评估集与训练集无重叠；关键指标有置信区间；回滚流程经过演练。

主要风险：测试集泄漏、指标噪声大、任务定义漂移、日志不完整。

5.2 阶段 1：单点自动优化（L1）

目标：在不改变系统结构的前提下，用自动优化获得稳定、可归因的收益。

关键动作：

• 从提示、示例与工具描述开始，不急于修改代码。
• 使用 OPRO、DSPy、TextGrad 等方法的思路，但固定搜索空间与预算 [1–3]。
• 使用隐藏验证集选择候选，保留测试集直到最终评估。
• 要求提升在统计上显著，并报告方差与成本。
• 对优化后的提示做人工可读性检查，避免不可维护的“魔法提示”。

交付物：优化后的工件、对比报告、成本报告、可复现实验脚本。

退出条件：在隐藏验证集上取得稳定提升；回归集不退化；优化流程可以自动重跑；单位提升成本可接受。

主要风险：验证集过拟合、提示脆弱、对模型版本敏感、优化收益不可迁移。

5.3 阶段 2：Harness 自优化（L2）

目标：让系统在沙箱中修改自己的 harness，并用隐藏测试与回归门筛选候选。

关键动作：

• 建立代码沙箱：隔离网络、文件系统、密钥与外部依赖；限制资源与执行时间。
• 建立候选档案：记录谱系、变更 diff、评估结果与失败原因。
• 使用隐藏验证集与回归集；至少保留一个从未参与优化的 OOD 集。
• 对高风险修改引入人类审批；对低风险修改允许自动通过。
• 每次部署前做影子模式与金丝雀；保留一键回滚。
• 监控组合安全：不仅检查单个组件，还检查跨组件交互 [15]。

交付物：沙箱、候选档案、回归门、组合安全监控、回滚预案。

退出条件：多轮优化后分布内提升且回归不超阈值；OOD 集不出现系统性退化；无重大安全事件；候选可复现。

主要风险：代码自改失控、基准过拟合、沙箱逃逸、组合安全失败、评估器被候选“钻空子”。

5.4 阶段 3：闭环自主进化（L3）

目标：把进化从离线批次推进到跨部署的持续闭环，覆盖 harness、记忆、技能与策略的多组件更新。

关键动作：

• 建立多组件版本化：每个组件独立版本，组合成可复现的系统快照。
• 建立持久记忆治理：来源、时效、冲突检测、隐私脱敏与过期策略。
• 建立在线监控：任务成功率、回归率、延迟、成本、安全事件与漂移指标。
• 建立进化控制器：候选预算、评估预算、探索比例、停止条件。
• 建立多层评估：执行验证、隐藏集、OOD、成对评审、人类抽检。
• 建立事故响应：告警、值班、回滚、复盘与降级。

交付物：进化控制器、在线监控、金丝雀流程、事故响应手册、季度安全审计报告。

退出条件：跨多个部署周期持续取得可解释的提升；回归率与事故率在容忍范围内；成本可核算；人类监督负担可承受；审计可追溯。

主要风险：经验污染、记忆膨胀、评估器漂移、回归累积、成本失控、组织疲劳。

5.5 阶段 4：受治理的开放进化（L4）

目标：在强治理前提下，探索自生成课程、评估器共进化与目标修订等开放机制。

关键动作：

• 建立课程生成：难度分层、多样性约束、OOD 保留、自生成任务的质量过滤。
• 建立评估器共进化：评估器与智能体共同更新，但保留人类锚点、跨模型评审与对抗性评审 [19]。
• 建立目标修订协议：任何目标或评分规则的修改都必须经过人类审批、影响分析与回滚演练。
• 建立多智能体种群：提案者、求解者、评审者角色分离，定期轮换，防止共谋。
• 建立外部审计与安全案例：独立团队复核，公开必要的审计摘要。
• 保持紧急制动与人类否决权；任何时刻都能暂停、隔离与回滚。

交付物：课程生成器、共进化评估器、目标修订协议、外部审计报告、安全案例、红队结果。

退出条件：只有在安全案例、外部审计与红队结果均通过，且组织具备相应运维能力时，才允许进入 L4。否则应停留在 L3。L4 不是默认目标，而是高风险、高投入的可选项。

主要风险：评估器共谋、目标漂移、责任真空、开放-ended 搜索失控、社会影响不可逆。

5.6 组织与工程配套

成熟度升级不仅是技术问题，也是组织问题。本文建议至少配置以下角色与机制。

• 进化工程师：维护进化闭环、候选档案、评估流水线与回滚机制。
• 评估器负责人：维护评估集、校准评估器、监控漂移与对抗样本。
• 安全审计员：独立于开发团队，负责威胁建模、红队、事故复盘与安全案例。
• 领域专家：定义任务成功标准，参与高风险变更审批与人类抽检。
• 事故指挥官：在安全事件或重大回归时负责止损、沟通与复盘。

机制方面，建议建立变更顾问流程（高风险变更评审）、无责复盘（blameless postmortem）、定期红队、季度成熟度自评与年度外部审计。基础设施方面，建议统一沙箱、制品库、实验追踪、可观测性与成本核算，避免每个团队各自造轮子。

5.7 十条最佳实践

表 6 自主进化落地的十条最佳实践

#	实践	具体做法	证据或理由	验收信号
1	评估先行	先建四类评估集与置信区间，再谈优化	没有可靠评估，提升无法归因	基线与候选可复现比较
2	三集分离	开发集、隐藏验证集、回归集、OOD 集严格隔离	防止过拟合与泄漏	测试集从未参与选择
3	分阶段放开	提示 → harness → 记忆/技能 → 策略 → 评估器	风险与可验证性逐级变化	每级有独立退出条件
4	评估器分层	执行验证、隐藏集、OOD、成对评审、人类抽检组合	单一评估器易被击穿 [16,24]	多层证据一致
5	安全一票否决	硬约束先于效用加权；组合交互单独检查	组合安全失败可绕过逐项审批 [15]	无高危组合未覆盖
6	小步可回滚	影子 → 金丝雀 → 全量；每次变更有回滚方案	进化系统的正常路径包含回滚	回滚演练通过
7	结构化经验	轨迹抽象为触发条件、失败模式、恢复动作	结构化记忆优于无界文本 [13]	记忆可审计、可过期
8	课程与 OOD 并重	难度分层、多样性约束、保留 OOD	单基准进化易局部最优 [14]	OOD 不系统性退化
9	成本核算	计量 token、工具、算力、人工时间；设预算上限	进化收益可能被成本吞噬	单位提升成本可接受
10	人类锚点	高风险变更审批、人类抽检、外部审计	评估器共进化有漂移风险 [19]	人类与自动评估相关性达标

这十条不是并列的检查项，而是有依赖关系的：没有第 1、2 条，第 4 条失去意义；没有第 5、6 条，第 3 条的升级不可控；没有第 10 条，第 4 条可能退化为自我确认。落地时应按依赖顺序建设，而不是按编号平均用力。

5.8 八类反模式

反模式 1：把推理时自我反思当作持久进化。 Self-Refine、Reflexion 等方法在单次任务内有效 [4,5]，但没有跨部署持久改变系统。把这类方法包装成“自进化”，会掩盖评估、回归与治理上的缺失。

反模式 2：训练、验证、测试泄漏。 在进化系统中，泄漏往往更隐蔽：候选档案、记忆库或课程生成器可能无意中包含了测试任务或其答案。必须对经验底座、检索索引与课程生成做独立的泄漏审计。

反模式 3：标量奖励崇拜。 用单一分数驱动搜索，候选会学会优化分数而不是任务。应使用多层评估、成对比较、硬约束与人类抽检；必要时对评估器本身做对抗测试 [16,24]。

反模式 4：自提案 + 自评判的封闭循环。 同一模型提出候选并给出最终评价，容易产生自偏好与共谋。至少应引入跨模型评审、隐藏评审身份或人类锚点。

反模式 5：无回滚的在线自改。 在线修改 harness 或策略却没有版本化与回滚，一旦出现回归或安全事件，止损成本极高。回滚必须是设计的一部分，而不是事故后的补救。

反模式 6：无界记忆与技能增长。 把所有轨迹、所有技能都永久保留，会导致检索噪声、上下文膨胀、冲突与延迟上升。记忆与技能需要来源、时效、冲突检测与淘汰机制。

反模式 7：平均分陷阱。 只报告平均任务成功率，不报告尾部风险、回归率与最差子群表现。进化可能提升平均分，同时让某些任务或用户群体显著变差。应报告分层指标与置信区间。

反模式 8：组合安全盲区。 只检查单个组件更新是否安全，不检查跨组件交互。研究已经表明，单独安全且保持效用的更新组合后可能不安全 [15]。必须把组合安全纳入验收门与运行时监控。

6 实证依据与评估方案

6.1 证据来源与纳入标准

本文的证据综合遵循以下流程。

• 检索范围：arXiv 的 cs.AI、cs.CL 与 cs.SE 分类，时间截至 2026 年 10 月 19 日。
• 检索词：self-evolving agents、recursive self-improvement、harness evolution、automated prompt optimization、self-improving agents 等。
• 纳入标准：有可访问全文；报告了定量结果或系统性的定性证据；与 L1–L4 至少一级相关；提供了方法、实验或安全分析。
• 排除标准：纯观点文章且无证据；重复发表；无法获取全文；与智能体自我改进无关。
• 提取字段：系统名称、成熟度级别、更新对象、评测基准、指标、报告结果、安全措施、作者声明的局限。
• 证据使用方式：本文引用原论文报告的数字，不重新运行实验，不把不同基准的数字直接横向比较；对定性结论明确标注为“作者报告”。

这一流程不是系统综述或元分析，存在选择偏差与发表偏差。第 6.6 节讨论这些效度威胁。

6.2 已发表证据的主结果

表 7 汇总了与本文路线图直接相关的代表性证据。表中“级别”是本文根据更新对象与持久性所做的归类，不是原论文的自我标签；“结果”是原论文报告的数字或定性结论。

表 7 代表性证据汇总

系统/文献	级别	更新对象	评测与报告结果	对路线图的启示
OPRO [1]	L1	提示	GSM8K 最高 +8%，Big-Bench Hard 最高 +50%（相对人工提示）	固定指标下自动优化可快速见效
DSPy [2]	L1	提示、示例、流水线	相对标准 few-shot 提升 >25%（GPT-3.5）与 65%（Llama2-13B-chat）；相对专家示例最高 5–46%/16–40%	编译式优化适合作为 L1 起点
TextGrad [3]	L1	复合系统变量	GPT-4o 在 Google-Proof QA 上 51%→55%；LeetCode-Hard 相对提升 20%	文本反馈可优化多组件
Self-Refine [4]	L0（推理时增强）	推理时输出	7 项任务平均绝对提升约 20%	推理时自适应不等于持久进化
Reflexion [5]	L0（推理时增强）	情景记忆	HumanEval pass@1 91%，对比基线 80%	记忆可跨试验，但生命周期有限
Voyager [6]	L2	技能库	独特物品 3.3×、距离 2.3×、科技里程碑最快 15.3×	持久技能库是进化底座
STOP [7]	L2	脚手架代码	改进后的改进器生成更优程序；含沙箱逃逸评估	代码级自改需要沙箱与安全评估
ADAS [8]	L2	智能体代码	自动发现的智能体优于手工设计，并可跨域/跨模型迁移	开放搜索空间可提升能力上限
Gödel Agent [9]	L2	自身逻辑	报告持续自我改进并超过手工智能体	自指修改可行，但验证困难
SICA [10]	L2	智能体代码	SWE-bench Verified 随机子集 17%→53%	代码自改在可验证任务上有效
DGM [11]	L2/L3	自身代码库	SWE-bench 20.0%→50.0%；Polyglot 14.2%→30.7%	档案式开放进化有效，但需安全措施
Self-HPO [12]	L3	harness + 策略	平均 resolve 57.8%→64.8%；联合增益超过单独增益之和	harness 与策略应协同进化
Living-Harness [13]	L3	harness 状态	τ²-Bench 派生环境 +10.07 pp；MultiWOZ-2.4 +9.91 pp	结构化经验可持久复用
Self-Evolving Harness [14]	L3	harness 代码	分布内 +4.48，OOD +12.64；Claw-Eval 66.17→68.06	多任务进化可改善 OOD 泛化
Pairwise Validator [16]	L2/L3	评估信号	多数设置匹配或超过完整奖励基线；跨模型验证器可迁移	成对验证可降低奖励设计成本
RQGM [19]	L4（部分）	智能体 + 评估器	82.1% vs 75.0% held-out；接受率 1.78×–1.86×	评估器共进化可行但有偏差风险
Compositional Safety [15]	治理	harness 组件	43 个二元、18 个三元组合失败；残余 CFR ≤1.27%；检查 20.1–33.6% 动作	组合安全必须纳入验收门
A-Evolve-Training [17]	L4（部分）	训练配方	30B 模型 held-out 0.86 vs 人类最佳 0.87；约 4000 条目中第 8	自主科研闭环可在规模上成立
Athanor [18]	L3/L4（部分）	训练流程	Qwen3-4B-Base 15.9→67.3（dev）、9.2→48.2（held-out）；104 小时	多智能体自主后训练可行
Terminal-RSI [21]	L3	轨迹/策略	递归自改写 + 策略精炼（定性）	轨迹复用与策略更新需结合
Macaron-V1 [22]	L3	模型-harness 对	版本化模型-harness 对与持续学习（定性）	版本化是持续进化的基础
Turbo Harness [23]	L2	harness	实例自适应 harness 优化（定性）	单一全局 harness 不够
Tool Verification [24]	评估	测试时奖励	多数投票奖励可能出错，需工具验证	评估器本身需要验证
AgenTracer [26]	诊断	失败归因	定位多智能体系统失败责任（定性）	诊断是进化的前提

6.3 设计选择的对比分析

表 8 把分散的证据组织成若干设计选择。需要强调：这些对比是“跨研究的设计模式归纳”，不是控制变量实验；不同论文的基准、模型与预算不同，不能据此做严格的因果推断。

表 8 关键设计选择与证据

设计选择	选项 A	选项 B	相关证据	本文建议
更新对象	只优化提示	联合优化 harness 与策略	Self-HPO 报告联合增益超过单独增益之和 [12]	从单工件开始，逐步联合优化
提案者	外部强模型	同一模型自提案	Self-Evolving Harness 用同一模型取得提升 [14]；Self-HPO 用更强外部模型进一步提升 [12]	低风险自提案，高风险外部/人类复核
评估信号	标量奖励	成对验证器	成对验证在多数设置匹配或超过完整奖励 [16]	低标注场景优先成对验证，保留标量作为辅助
搜索策略	贪心/局部	进化档案/开放式	DGM 的档案机制在代码基准上取得大幅提升 [11]	单峰任务贪心，开放任务用档案与多样性
泛化评估	单基准分布内	多任务 + OOD	多任务进化在 OOD 上提升 12.64 分 [14]	必须报告 OOD，不只看分布内
经验形态	无界文本记忆	结构化记忆/状态图	Living-Harness 的结构化经验取得稳定提升 [13]	结构化、可审计、可过期
安全机制	输出过滤	跨组件运行时监控	组合安全失败可绕过逐项检查 [15]	输出过滤 + 组合交互监控 + 回滚
评估器演化	固定评估器	共进化评估器	RQGM 报告共进化收益与偏差风险 [19]	仅 L4、保留人类锚点与外部审计

6.4 关键权衡

6.4.1 自主性与控制

自主性提高会降低边际人力成本，但扩大系统的行动空间与故障面。一个可操作的判断是：当“自动评估与人类判断的一致性”高于阈值，且“高风险变更的人类审批覆盖率”不下降时，才考虑提高自主性；否则应先投资评估与治理，而不是提高自主级别。

6.4.2 探索与利用

进化系统需要在“改进当前最优”和“探索新方向”之间分配预算。贪心搜索收敛快但容易陷入局部最优；开放式档案保留多样性但成本更高。DGM 的档案机制说明多样性对开放式代码进化重要 [11]；Self-Evolving Harness 的多任务课程说明任务多样性对 OOD 泛化重要 [14]。实践中建议显式设置探索预算比例，并监控档案的多样性指标，而不是让搜索策略隐式决定。

6.4.3 可塑性与稳定性

更新范围越大，潜在收益越高，回归风险也越高。本文把这一关系表述为经验假设而非定理：在缺乏强回归门的情况下，扩大更新范围会提高“收益与回归同时上升”的概率。因此，更新范围的扩大应与回归测试、金丝雀与回滚能力同步。Self-HPO 的联合优化之所以可行，部分原因是它在每一轮都用基准评估筛选候选 [12]；Living-Harness 之所以能持久积累，部分原因是它冻结工具与基础上下文，只更新结构化经验 [13]。

6.4.4 效用与安全

安全约束不应被效用加权抵消。组合安全研究显示，单独安全且保持效用的更新组合后可能不安全 [15]。这意味着验收门必须包含“组合检查”这一独立维度，而不是把安全当作效用函数中的一项惩罚。运行时监控的成本可以通过局部交互邻域控制：该研究在保持效用的同时，只对 20.1–33.6% 的候选动作调用运行时检查 [15]。

6.4.5 成本与证据质量

评估越强，成本越高。设总成本为

$$C_{\text{total}}=C_{\text{rollout}}+C_{\text{eval}}+C_{\text{search}}+C_{\text{oversight}}+C_{\text{incident}},$$

单位改进成本为

$$C_{\text{per-improvement}}=\frac{C_{\text{total}}}{\#\text{accepted improvements}}.$$

当单位改进成本随轮次上升而收益递减时，应停止或降级，而不是继续加预算。成本模型中的每一项都应由组织自身的账单与人力数据校准；本文不提供具体数值。

6.4.6 评估器噪声下的选择收益

设候选的真实效用增量为 $\Delta \sim \mathcal{N}(\mu ,{\sigma }_{\Delta }^2)$，评估器信号为 $S=\Delta +\epsilon$，其中 $\epsilon \sim \mathcal{N}(0,{\sigma }_{\epsilon }^2)$，验收规则为 $S>\tau$。在评估器无系统偏差的假设下，被接受候选的期望真实增益为

$$
\mathbb{E}[\Delta \mid S > \tau]

\mu
+
\frac{\sigma_\Delta^{2}{\sqrt{\sigma_\Delta}2 + \sigma_\varepsilon^2}}
,
\lambda!\left(
\frac{\tau - \mu}{\sqrt{\sigma_\Delta^2 + \sigma_\varepsilon^2}}
\right),
$$

其中 $\lambda (k)=\varphi (k)/(1-\Phi (k))$ 是逆米尔斯比，$\varphi$ 与 $\Phi$ 分别是标准正态的概率密度与累积分布函数。该式给出三个实践含义。第一，评估器噪声 ${\sigma }_{\epsilon }$ 越大，选择带来的期望增益越小；当噪声趋于无穷时，第二项趋于零。第二，提高阈值 $\tau$ 会提高被接受候选的平均质量，但降低接受率；两者需要联合优化。第三，若评估器存在系统偏差，阈值无法修正偏差，必须先校准评估器。附录 B 给出推导。

6.4.7 组合交互的增长

设有 $d$ 类组件，每类有 $n$ 个状态。需要考虑的跨组件交互组合数为

$$
N_{\text{inter}}

\sum_{k=2}^{d}\binom{d}{k} n^k

(1+n)^d - 1 - dn

\Theta(n^d)
\quad (d \text{ 固定}).
$$

当新增一个状态时，新增候选交互数为 $\Theta (n^{d-1})$。这说明穷举组合检查的成本会随组件数与状态数快速增长，必须采用增量表示、局部邻域更新或运行时按需检查 [15]。这也是本文把组合安全监控列为 L2 以上硬要求的理由：不监控的组合空间在实践中不可穷举。

6.5 评估协议（待执行）

本节给出一套可执行的评估协议，用于未来验证本文路线图。协议中的结果表格保留占位符，不伪造数值。

6.5.1 研究问题与假设

• RQ1：成熟度级别是否预测收益的持久性与 OOD 保持？假设 H1：在同等预算下，L3 配置的 OOD 保持优于 L2，L2 优于 L1；但 L4 不必然优于 L3。
• RQ2：闭环中的哪个组件对收益贡献最大？假设 H2：移除诊断归因会显著降低“被接受改进率”，其影响大于移除搜索策略的多样性机制。
• RQ3：评估器噪声与验收门严格度如何影响效用、安全与成本？假设 H3：成对验证器在低标注场景下能降低单位改进成本，且不显著降低任务效用。
• RQ4：治理开销是否值得？假设 H4：引入组合安全监控与回滚后，安全违规率显著下降，任务效用损失在预设容忍范围内，单位改进成本上升但事故成本下降。

这些是待检验假设，不是本文结论。

6.5.2 基准与任务

建议覆盖三类任务。第一类是高可验证性任务：SWE-bench Verified、LiveCodeBench 等编码任务，单元测试提供强反馈。第二类是交互式任务：τ²-bench、AgentDojo、WebArena 等，评估工具使用、对话与安全。第三类是开放式任务：GAIA 等需要多步检索与推理的任务，评估长程规划。除此之外，应构造一个与训练分布不同的 OOD 套件，以及一个安全基准套件。

6.5.3 基线与配置

• Manual：人工设计的提示与工作流。
• L1：OPRO/DSPy/TextGrad 风格的提示或流水线优化。
• L2：SICA/DGM/Self-HPO 风格的 harness 或代码自优化。
• L3：Living-Harness/Self-Evolving Harness 风格的持久多组件进化。
• L3 + 治理：在 L3 上增加组合安全监控、回归门、金丝雀与回滚。
• L4（可选）：在 L3 + 治理上增加课程生成与评估器共进化，保留人类锚点。

所有配置应在相同模型、相同工具、相同预算与相同评估集下比较；若无法完全对齐，应报告差异并做敏感性分析。

6.5.4 指标

• 任务效用：成功率、pass@1、pass@k。
• OOD 保持：分布内与分布外的差值 ${\mathrm{Gap}}_{OOD}=U_{ID}-U_{OOD}$。
• 回归率：此前通过、当前失败的任务比例。
• 安全违规率：按严重级别分层的每千次任务违规数。
• 单位改进成本：$C_{\text{per-improvement}}$。
• 人类监督负担：每个被接受变更所需的人工审核分钟数。
• 可复现性：在固定环境下重跑得到相同结论的比例。
• 评估器健康度：与人类判断的一致性、跨模型一致性、漂移幅度。

6.5.5 消融

建议至少做六组消融：移除诊断归因；移除成对验证器；移除回归门；移除组合安全监控；移除候选档案/多样性机制；移除课程生成。每组消融都应在相同预算下比较，并报告效用、OOD、回归、安全与成本五个维度。

6.5.6 统计与可复现性

使用配对 bootstrap（至少 10,000 次重采样）估计置信区间；使用 Wilcoxon 符号秩检验比较配置；对多重比较使用 Holm–Bonferroni 校正。所有实验应预注册研究问题、主要指标与停止规则；代码、提示、评估脚本与配置文件应随论文或内部报告发布。对无法复现的配置，应明确标注。

6.5.7 结果表格占位

表 9 待执行实验的主结果模板

配置	任务效用 ↑	OOD Gap ↓	回归率 ↓	安全违规 ↓	单位改进成本 ↓	人工审核分钟 ↓	备注
Manual	[TODO: 实验数据待填]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	基线
L1	[TODO: 实验数据待填]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	固定预算
L2	[TODO: 实验数据待填]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	沙箱
L3	[TODO: 实验数据待填]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	多组件
L3 + 治理	[TODO: 实验数据待填]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	组合安全监控
L4（可选）	[TODO: 实验数据待填]	[TODO]	[TODO]	[TODO]	[TODO]	[TODO]	人类锚点

6.6 效度威胁与局限

第一，证据异质性。不同论文使用不同模型、基准、预算与评分方式，表 7 的数字不能直接横向比较；本文只把它们作为“该机制在特定条件下有效”的证据，而不是统一标尺。

第二，发表偏差。成功的自进化系统更容易被报告；失败案例、负结果与事故细节较少公开。这会导致路线图高估收益、低估风险。

第三，复现限制。本文未独立复现任何实验；部分系统依赖特定模型版本、内部工具或未公开数据。读者应把引用数值视为“作者报告值”，而不是独立验证值。

第四，评估期限。多数研究报告的是离线基准或短期在线实验，缺少跨季度、跨版本的长期跟踪；自主进化的回归、漂移与经验污染往往在更长的时间尺度上才显现。

第五，基准污染。编码与问答基准可能出现在预训练数据中；即使报告了 OOD，也不能完全排除污染。应使用时间切分、私有保留集与动态基准降低风险。

第六，安全覆盖有限。现有安全基准覆盖的攻击面有限；组合安全研究已经发现大量组合失败 [15]，但真实系统的工具、权限与数据组合空间更大。安全案例应显式列出未覆盖的攻击面。

第七，模型与组织特异性。本文的成熟度模型是规范性的，未经过大规模组织实证；不同组织的评估能力、风险偏好与运维水平不同，同一级别在不同组织中的可行性也不同。

第八，L4 证据不足。当前公开证据只支持 L4 的局部特征；没有证据表明存在可以安全地无限制自我修改、完全自定目标的系统。本文把 L4 设为有条件选项，而不是推荐终点。

7 讨论

7.1 评估器是新的瓶颈

当模型能力提升、提案成本下降后，进化系统的瓶颈从“能否生成候选”转向“能否可靠地判断候选”。OPRO、DSPy、TextGrad 解决了“如何搜索提示” [1–3]；STOP、SICA、DGM 解决了“如何搜索代码” [7,10,11]；Self-HPO、Living-Harness 解决了“如何持久积累经验” [12,13]。但所有这些方法都依赖一个隐含前提：评估信号可信。成对验证器的研究表明，我们可以用更便宜的比较判断替代昂贵的标量奖励 [16]；工具验证的研究提醒，奖励本身可能错误 [24]；组合安全的研究表明，安全判断不能逐项做 [15]；RQGM 则说明，评估器本身也会随优化压力漂移 [19]。

因此，本文把评估器栈放在参考架构的中心位置，而不是把它当作训练之后的附属步骤。一个组织的自主进化能力，上限往往由它的评估能力决定：能否构造隐藏集、能否校准评审、能否检测漂移、能否在评估器失效时及时停下。这个判断与“模型能力决定上限”的传统观点并不矛盾，而是补充：模型决定“能做什么”，评估决定“能否可靠地知道做得好不好”，治理决定“是否应该继续做”。

7.2 适用边界

本文路线图最适合以下条件同时成立的场景：任务成功标准可被部分自动化验证；失败可回滚或影响可隔离；有足够的历史数据与评估预算；组织具备安全、审计与事故响应能力。编码、数据分析、结构化文档处理、部分客服与运维任务通常满足这些条件。

相反，以下场景应保守：成功标准高度主观或长周期；失败不可逆或影响重大；评估数据稀缺且难以标注；组织缺乏独立审计与回滚能力。医疗、法律、金融决策、公共安全等场景可以借鉴 L1/L2 的自动优化与沙箱验证，但不宜在没有人类监督的情况下进入 L3/L4。本文的决策矩阵（表 3）提供了一个起点，实际决策还应结合领域监管与伦理审查。

7.3 伦理与治理

自主进化带来四类伦理与治理问题。第一，责任归属：当系统自主修改自身行为并造成损害时，责任应由谁承担？本文建议把“谁批准、谁部署、谁审计”写入变更记录，并保留人类否决权。第二，透明性：进化后的系统可能包含大量自动生成的提示、代码与记忆，难以解释。应保留谱系、变更 diff 与评估证据，支持事后审计。第三，安全与双用：自我修改能力可能被用于规避安全约束或开发攻击工具。应在沙箱、权限与内容安全层面做硬限制，并进行红队测试。第四，劳动与组织影响：自主进化会改变工程师、评审者与领域专家的角色，组织应提前规划技能转移与监督岗位。

治理不是一次性的合规检查，而是与进化 loop 同步运行的控制系统。本文建议把治理指标（事故率、回归率、审计覆盖率、人类监督负担）纳入与任务效用同等重要的仪表盘，并在季度评审中与成熟度自评一起复盘。

7.4 开放问题

目标修订。 L4 的核心难题不是“能否修改评估器”，而是“修改后的评估器是否仍然代表人类意图”。A-Evolve-Training 展示了系统在代理指标失效后修改搜索策略的能力 [17]，但目标本身的修订仍需要人类审批与影响分析。如何形式化“目标修订协议”，是一个开放问题。

评估器共进化与共谋。 RQGM 展示了评估器与智能体共同进化的收益 [19]，但也提示评估器可能随智能体漂移。如何在保持适应性的同时防止共谋、自偏好与评价标准松弛，需要机制设计与外部锚点。

长程记忆与经验治理。 结构化记忆优于无界文本 [13]，但记忆的来源、时效、冲突与隐私治理仍缺少标准。如何设计可审计、可过期、可回滚的记忆系统，是 L3 落地的关键工程问题。

多智能体信用分配。 多智能体系统的失败往往跨越多个角色与步骤 [26]。如何把最终结果归因到具体智能体、具体步骤与具体组件，决定了进化能否精准修改。

开放-ended 评估。 现有基准多为封闭任务集，难以衡量系统在开放环境中的持续适应能力。需要动态基准、自生成任务与长期跟踪协议。

自我修改的形式化安全。 当前安全分析多为经验性红队与运行时监控，缺少对持久自我修改的形式化保证。如何在代码、权限与目标层面建立可证明的安全包络，是长期挑战。

可复现性与审计标准。 自主进化系统包含大量随机性与环境依赖；需要统一的谱系记录、种子管理、环境锁定与审计接口，才能支持跨团队复现与监管审查。

算力经济学。 进化系统的成本可能随搜索与评估预算快速增长；需要研究单位改进成本、边际收益递减与预算分配策略，避免“为了进化而进化”。

8 结论

本文把“从自动优化到自主进化”拆解为一条可操作的路线：以提示与程序优化为起点（L1），在沙箱与回归门下开放 harness 自优化（L2），在持久经验、在线监控与多组件版本化之上建立闭环自主进化（L3），最后仅在强治理与人类锚点具备时，探索评估器共进化与开放课程（L4）。本文提出六维自主性刻画与五级成熟度模型，给出参考架构、五阶段落地路径、十条最佳实践与八类反模式，并把已有证据组织成可核查的汇总表。

本文的核心结论是：自主进化的瓶颈不在“能否生成更强的候选”，而在“能否可靠地判断、约束与回滚这些候选”。评估器栈、组合安全监控、版本化与人类锚点是路线图的硬约束，而不是可选的工程优化。成熟度升级应与任务可验证性、风险等级与组织治理能力匹配；L4 不是默认目标，而是高风险、高投入、需要外部审计的可选项。

未来工作有三项具体任务。第一，执行第 6.5 节的评估协议，在统一预算下比较 L1–L4 配置的效用、OOD 保持、回归、安全与成本，并公开代码与配置。第二，建立面向自主进化的动态基准与报告标准，要求同时报告分布内、OOD、回归、组合安全与单位改进成本。第三，研究目标修订、评估器共进化与形式化安全包络，为 L4 建立可审计、可撤回的治理机制。只有当选改能力、评估能力与治理能力同步提升时，“自主进化”才是一个值得部署的工程模式，而不是一个漂亮的叙事。

参考文献

[1] Yang C, Wang X, Lu Y, Liu H, Le Q V, Zhou D, Chen X. Large Language Models as Optimizers. arXiv preprint arXiv:2309.03409, 2023. (ICLR 2024)

[2] Khattab O, Singhvi A, Maheshwari P, Zhang Z, Santhanam K, Vardhamanan S, Haq S, Sharma A, Joshi T T, Moazam H, Miller H, Zaharia M, Potts C. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. arXiv preprint arXiv:2310.03714, 2023.

[3] Yuksekgonul M, Bianchi F, Boen J, Liu S, Huang Z, Guestrin C, Zou J. TextGrad: Automatic “Differentiation” via Text. arXiv preprint arXiv:2406.07496, 2024.

[4] Madaan A, Tandon N, Gupta P, Hallinan S, Gao L, Wiegreffe S, Alon U, Dziri N, Prabhumoye S, Yang Y, Gupta S, Majumder B P, Hermann K, Welleck S, Yazdanbakhsh A, Clark P. Self-Refine: Iterative Refinement with Self-Feedback. arXiv preprint arXiv:2303.17651, 2023.

[5] Shinn N, Cassano F, Berman E, Gopinath A, Narasimhan K, Yao S. Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv preprint arXiv:2303.11366, 2023.

[6] Wang G, Xie Y, Jiang Y, Mandlekar A, Xiao C, Zhu Y, Fan L, Anandkumar A. Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv preprint arXiv:2305.16291, 2023.

[7] Zelikman E, Lorch E, Mackey L, Kalai A T. Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation. arXiv preprint arXiv:2310.02304, 2023. (COLM 2024)

[8] Hu S, Lu C, Clune J. Automated Design of Agentic Systems. arXiv preprint arXiv:2408.08435, 2024.

[9] Yin X, Wang X, Pan L, Lin L, Wan X, Wang W Y. Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement. arXiv preprint arXiv:2410.04444, 2024. (ACL 2025)

[10] Robeyns M, Szummer M, Aitchison L. A Self-Improving Coding Agent. arXiv preprint arXiv:2504.15228, 2025.

[11] Zhang J, Hu S, Lu C, Lange R, Clune J. Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents. arXiv preprint arXiv:2505.22954, 2025.

[12] Wei Z, Yao W, Peng B, Wang D, Wu Q, Cheng H, Meng Y, Gao J. Self-Evolving Coding Agents via Harness-Policy Optimization. arXiv preprint arXiv:2610.22791, 2026.

[13] Du Y, Wang Y, Xu H, Xu J, Tan S, Zhao B, Yang B, Xu Z, Kong M, Wei H, Liu J, Zhu Q. Living-Harness Is an Interactive-Agent Evolver. arXiv preprint arXiv:2607.26598, 2026.

[14] Xu Q. Self-Evolving Harness on Multiple Tasks with the Agent as Its Own Optimizer. arXiv preprint arXiv:2609.38372, 2026.

[15] Zhang Z, Liu Z, Lai W I, Chen H, She D. Compositional Safety Failures in Harness Evolution: Identification and Runtime Monitoring. arXiv preprint arXiv:2609.33123, 2026.

[16] Liu M, Wang Y, Wang J, Wei W. Reward-Free Evolving Agents via Pairwise Validator. arXiv preprint arXiv:2607.14408, 2026.

[17] Shi Z, He B, Sang Y, Dumoulin B, Lu H. A-Evolve-Training: Autonomous Post-Training of a 30B Model. arXiv preprint arXiv:2606.20657, 2026.

[18] Zhou Y, Wang Y, Fan J, Shu Z, Liu Z, Zhang A R, Ling N, Wei Z. Athanor: An Agent-Native System for Autonomous Post-Training Research. arXiv preprint arXiv:2610.21055, 2026.

[19] Iacob A, Jovanović A, Shen W F, Burkhardt D, Kurmanji M, Tastan N, Sani L, Venanzi N A E, Nie J, Odonnat A, Cao Z, Marino B, Qiu X, Antonova R, Lane N D. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators. arXiv preprint arXiv:2606.26294, 2026.

[20] Wei T, Li T-W, Liu Z, Ning X, Yang Z, Zou J, Zeng Z, Qiu R, Lin X, Fu D, Li Z, Ai M, Zhou D, Bao W, Li Y, Li G, Qian C, Wang Y, Tang X, Xiao Y, Fang L, Liu H, Tang X, Zhang Y, Wang C, You J, Ji H, Tong H, He J. A Survey of Agentic Reasoning for Large Language Models: Towards Recursively Self-Improving and Collective Agents. arXiv preprint arXiv:2601.12538, 2026. (TMLR)

[21] Yang J, Li Z, Shi Y, Li Z, Wang R, et al. Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine. arXiv preprint arXiv:2610.22192, 2026.

[22] Mind Lab, Bo V, Cai A, Cao J, et al. Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA. arXiv preprint arXiv:2608.09819, 2026.

[23] Zhang T, Wang H, Xu K, Metaxas D N. Turbo Harness: Instance-Adaptive Harness Optimization. arXiv preprint arXiv:2609.40330, 2026.

[24] Liao R, Röhrich N, Wang X, Zhang Y, Samadzadeh Y, et al. Tool Verification for Test-Time Reinforcement Learning. arXiv preprint arXiv:2603.02203, 2026.

[25] Herrmann V, Schmidhuber J. Interestingness as an Inductive Heuristic for Future Compression Progress. arXiv preprint arXiv:2605.14831, 2026.

[26] Zhang G, Wang J, Chen J, Zhou W, Wang K, et al. AgenTracer: Who Is Inducing Failure in the LLM Agentic Systems? arXiv preprint arXiv:2509.03312, 2025.

附录

A. 符号表

符号	含义
${\mathcal{A}}_t$	时刻 $t$ 的智能体系统
${\pi }_t$	策略模型与解码策略
$H_t$	harness（提示、工具、上下文、控制流、终止条件）
$M_t$	持久记忆与技能库
$E_t$	环境（任务、工具、评估器、运行时）
${\mathcal{D}}_t$	经验记录集合
$P$	提案算子
$V$	评估器栈
$C$	约束集合
$B$	预算
$\Delta U$	效用提升
$\Delta R$	回归增量
${\tau }_U$	最小可接受效用提升
${ϵ}_R$	回归容忍度
$\mathbf{a}$	六维自主性向量
$u,p,q,v,o,s$	更新对象、持久性、提案者、评估来源、开放性、监督强度
$\mathrm{CFR}$	组合失败率（Compositional Failure Rate）
$\mathrm{OOD}$	分布外（Out-of-Distribution）

B. 命题与证明

B.1 命题 1：严格验证门在验证集上的非退化性

命题：设验证集固定为 $V$。若验收规则只接受满足 $V({\mathcal{A}}^{\prime })\ge V({\mathcal{A}}_t)$ 的候选，则对任意轮次 $t$，有 $V({\mathcal{A}}_{t+1})\ge V({\mathcal{A}}_t)$。

证明：若候选被接受，则由验收规则 $V({\mathcal{A}}_{t+1})=V({\mathcal{A}}^{\prime })\ge V({\mathcal{A}}_t)$；若候选被拒绝，则 ${\mathcal{A}}_{t+1}={\mathcal{A}}_t$，故 $V({\mathcal{A}}_{t+1})=V({\mathcal{A}}_t)$。两种情况下不等式均成立。证毕。

说明：该命题只保证验证集上的非退化，不保证测试集、OOD 集或真实任务分布上的非退化。若验证集与部署分布不一致，严格验证门仍可能导致过拟合。这是第 5.1 节要求四类评估集分离的原因。

B.2 命题 2：组合交互数量的增长

命题：设有 $d$ 类组件，每类有 $n$ 个状态，且跨组件交互至少涉及 2 类组件。则候选交互总数为

$$N_{\text{inter}}=(1+n{)}^d-1-dn=\Theta (n^d)$$

（$d$ 固定）。新增一个状态时，新增候选交互数为 $\Theta (n^{d-1})$。

证明：每类组件有 $n$ 个状态，$d$ 类组件的状态组合总数为 $(1+n{)}^d$（每类可选“空”或 $n$ 个状态之一）。减去全空组合 1 个，减去只涉及单类组件的 $dn$ 个组合，得到至少涉及两类的组合数。展开 $(1+n{)}^d={\sum }_{k=0}^d(\genfrac{}{}{0ex}{}{d}{k})n^k$，减去 $1+dn$ 后即 ${\sum }_{k=2}^d\left(\genfrac{}{}{0ex}{}{d}{k}\right)n^k$。当 $d$ 固定时，最高阶项为 $\left(\genfrac{}{}{0ex}{}{d}{d}\right)n^d=n^d$，故为 $\Theta (n^d)$。对 $n$ 求差分，新增状态带来的组合增量为 $\Theta (n^{d-1})$。证毕。

说明：该命题解释了为什么跨组件安全不能穷举。实际系统可通过类型化超图、局部邻域更新与运行时按需检查降低成本 [15]。

B.3 命题 3：噪声评估器下的选择收益

命题：设 $\Delta \sim \mathcal{N}(\mu ,{\sigma }_{\Delta }^2)$，$S=\Delta +\epsilon$，$\epsilon \sim \mathcal{N}(0,{\sigma }_{\epsilon }^2)$，且 $\epsilon$ 与 $\Delta$ 独立。验收规则为 $S>\tau$。则

$$
\mathbb{E}[\Delta \mid S > \tau]

\mu
+
\frac{\sigma_\Delta^{2}{\sqrt{\sigma_\Delta}2 + \sigma_\varepsilon^2}}
,
\lambda!\left(
\frac{\tau - \mu}{\sqrt{\sigma_\Delta^2 + \sigma_\varepsilon^2}}
\right),
$$

其中 $\lambda (k)=\varphi (k)/(1-\Phi (k))$。

证明：由于 $\Delta$ 与 $S$ 联合正态，$\mathrm{Cov}(\Delta ,S)={\sigma }_{\Delta }^2$，$\mathrm{Var}(S)={\sigma }_{\Delta }^2+{\sigma }_{\epsilon }^2$。给定 $S=s$，条件期望为

$$
\mathbb{E}[\Delta \mid S=s]

\mu + \frac{\sigma_\Delta^{2}{\sigma_\Delta}2+\sigma_\varepsilon^2}(s-\mu).
$$

令 ${\sigma }_S=\sqrt{{\sigma }_{\Delta }^2+{\sigma }_{\epsilon }^2}$，$k=(\tau -\mu )/{\sigma }_S$。则

$$
\mathbb{E}[\Delta \mid S>\tau]

\mu + \frac{\sigma_\Delta^2}{\sigma_S2},
\mathbb{E}[S-\mu \mid S>\tau].
$$

对于标准正态 $Z$，$\mathbb{E}[Z\mid Z>k]=\varphi (k)/(1-\Phi (k))=\lambda (k)$；而 $(S-\mu )/{\sigma }_S\sim \mathcal{N}(0,1)$，故 $\mathbb{E}[S-\mu \mid S>\tau ]={\sigma }_S\lambda (k)$。代入得

$$
\mathbb{E}[\Delta \mid S>\tau]

\mu + \frac{\sigma_\Delta^2}{\sigma_S2}\sigma_S\lambda(k)

\mu + \frac{\sigma_\Delta^2}{\sigma_S}\lambda(k).
$$

证毕。

说明：当 ${\sigma }_{\epsilon }\to \infty$ 时，${\sigma }_{\Delta }^2/{\sigma }_S\to 0$，选择收益趋于零；当 ${\sigma }_{\epsilon }=0$ 时，选择收益由真实增益分布与阈值决定。该模型假设评估器无系统偏差；若存在偏差 $b$，则 $S=\Delta +b+\epsilon$，阈值无法消除 $b$，必须先校准评估器。

B.4 命题 4：代理指标失效的充分条件（示意）

命题：设真实效用 $U(e)$ 与代理指标 $P(e)=U(e)+b(e)$ 均可微，$e$ 为优化强度。若在某个 $e^{\ast }$ 之后 $U^{\prime }(e)<0$ 且 $P^{\prime }(e)>0$，则继续提高优化强度会增加代理指标但降低真实效用。

证明：由 $P^{\prime }(e)=U^{\prime }(e)+b^{\prime }(e)>0$ 且 $U^{\prime }(e)<0$，得 $b^{\prime }(e)>-U^{\prime }(e)>0$。因此 $P$ 随 $e$ 增加，而 $U$ 随 $e$ 减少。证毕。

说明：该命题是示意性的，不声称任何具体系统必然进入该区间。它的作用是提醒：当代理指标与真实目标的相关性随优化压力变化时，单靠“分数还在涨”不能证明系统在变好；需要外部锚点、OOD 评估与人类抽检。

C. 成熟度自评问卷

本问卷用于团队自评，不构成认证。每项按 0–2 分打分：0 = 未建立，1 = 部分建立，2 = 稳定运行。总分 20 分。

#	问题	0 分	1 分	2 分
1	是否有可复现的基线评估集与置信区间？	无	有但不稳定	稳定且可复现
2	开发集、隐藏验证集、回归集、OOD 集是否严格分离？	未分离	部分分离	完全分离并审计
3	是否记录完整轨迹、成本与安全事件？	无	部分记录	完整且可追溯
4	是否有代码与工具执行的沙箱？	无	有限隔离	强隔离并演练
5	是否有候选档案、版本化与一键回滚？	无	部分版本化	完整制品库与回滚演练
6	是否有分层评估器与人类抽检锚点？	单一评估	两层评估	多层评估并校准
7	是否有组合安全监控与跨组件交互检查？	无	逐项检查	运行时组合监控
8	是否有预算、告警、值班与事故响应？	无	部分流程	完整并定期演练
9	是否报告 OOD、回归、安全与单位改进成本？	只看平均分	报告部分指标	全指标报告
10	是否有独立审计与高风险变更审批？	无	内部评审	独立审计与审批

评分解释（仅供工程参考）：0–5 分通常对应 L0/L1；6–10 分对应 L1/L2；11–15 分对应 L2/L3；16–20 分才具备讨论 L3/L4 的基础。分数高不代表应该升级；是否升级仍取决于任务风险与组织能力。

D. 落地检查清单

阶段 0

• 任务分布、成功标准与失败定义已文档化。
• 四类评估集已建立并隔离。
• 轨迹、成本、安全事件日志已接入。
• 基线可复现，且有置信区间。
• 沙箱、权限与事故响应流程已就绪。

阶段 1

• 提示/示例/工具描述优化流水线可自动重跑。
• 隐藏验证集与测试集未参与候选选择。
• 提升在统计上显著，且报告方差与成本。
• 优化后的工件可读、可维护、可回滚。

阶段 2

• 代码修改在沙箱中执行。
• 候选档案记录谱系、diff 与评估证据。
• 回归门与 OOD 集已接入验收。
• 组合安全监控与回滚预案已演练。
• 高风险变更有人类审批。

阶段 3

• 多组件版本化与系统快照可复现。
• 记忆有来源、时效、冲突检测与过期策略。
• 在线监控覆盖成功率、回归、延迟、成本、安全与漂移。
• 金丝雀与自动回滚已上线。
• 进化控制器有预算、探索比例与停止条件。

阶段 4

• 课程生成有难度分层、多样性约束与 OOD 保留。
• 评估器共进化有人类锚点、跨模型评审与对抗评审。
• 目标修订协议经过人类审批与影响分析。
• 外部审计、安全案例与红队结果已通过。
• 紧急制动与人类否决权可随时生效。

E. 证据提取模板

字段	说明
文献标识	作者、标题、arXiv ID、年份
系统名称	原论文中的系统名
成熟度级别	本文按更新对象与持久性归类
更新对象	提示、harness、记忆、技能、策略、评估器
提案者	人类、外部优化器、同一模型、种群
评估来源	人类、隐藏测试、学习型评审、共进化评估器
评测基准	基准名称与任务数（如原文报告）
指标	成功率、pass@k、OOD、回归、安全、成本
报告结果	原文数值或定性结论
安全措施	沙箱、回滚、监控、审计、人类监督
作者声明的局限	原文 limitations
备注	是否可复现、是否有代码、是否需特定模型