本文系统探讨了AI评估（eval）的体系框架与分类方法。首先区分了eval（系统性评估方法）、benchmark（固定题库评测）和评测体系（含数据集、指标、运行器等完整流程）三个核心概念。随后将AI评估细分为10类：模型能力、基准测试、RAG系统、智能体行为、代码任务、应用端到端、安全性、成本性能、领域定制和回归测试，并针对不同类型项目（如知识问答、编程助手、小说生成等）推荐了重点评估维度。文章特

项目里有一个概念叫，可以理解为“候选记忆”。它来自extract节点：模型读完当前草稿后，抽取出可能影响后续章节的信息，例如：本章摘要；关键事件；时间线变化；人物关系变化；伏笔埋设或回收；角色状态变化。但这些信息不会立刻进入长期记忆。原因很简单：当前草稿可能会被 review 打回重写。如果一个被废弃的草稿已经污染了长期记忆，后续章节就可能继承错误设定。

第二个让我印象很深的机制是 /handoff。白天在电脑 CLI 中工作↓需要离开电脑↓希望在 Telegram / Discord / Slack 中继续最简单的实现可能是把当前对话总结一下，再发送到目标平台。精确的用户原话；工具调用和工具结果；中间失败的尝试；完整的角色结构；当前任务尚未完成的细节。Hermes 的做法不是复制摘要，而是把目标平台的会话路由，重新绑定到原来的 CLI sessi

[OpenAI: A practical guide to building agents](https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/)，面向工程和产品团队的 agent 实践指南。- 2024-2025 年的 agent 产品形态，到 2026 年已经更成熟，

如果把传统的Spring框架比作组装一台电脑，你需要自己挑选CPU、主板、内存、显卡，还要自己接线、安装驱动，稍有不对就开不了机。那么Spring Boot就是品牌机：所有配件都已经帮你搭配好了，兼容性问题也解决了，你只需要按下电源键，电脑就能正常使用。当然，如果你有特殊需求，也可以自行升级配件。Spring Boot是基于Spring框架的"约定优于配置"理念，它通过自动配置和起步依赖，极大地简

Redis = Remote Dictionary Server（远程字典服务器）Redis就是一台超级快的内存数据库，就像你电脑的记事本，但是这个记事本读写速度极快，而且能存很多种类型的数据。什么是Redis：内存数据库，速度快1000倍为什么用Redis：减轻数据库压力，提升系统性能怎么用Redis：Spring Boot集成Redis的完整代码示例常见问题：缓存穿透、缓存雪崩、缓存击穿的解决

传统Spring开发你需要自己选CPU、主板、内存、显卡自己买线缆、螺丝自己研究接线图、驱动兼容性组装完可能还点不亮，需要排查哪个地方没接好厂家已经帮你搭配好兼容的硬件开箱即用，插上电源就能启动如果你想升级某个部件，也有标准接口省去繁琐的组装过程，专注于使用电脑Spring Boot是基于Spring框架的"约定优于配置"（Convention over Configuration）的开发框架，它

摘要： Pi项目展示了AI编程助手的两个核心架构设计：1）Extension插件系统，通过事件钩子（如tool_call拦截）和API注册实现功能扩展，避免主循环臃肿，支持权限控制、Git备份等；2）TreeSession状态树，采用JSONL格式存储带id/parentId的树状会话历史，支持分叉、回退和状态恢复，优于线性消息列表。迁移时可分步实现：先添加tool_call钩子，再升级为树形会话

传统Spring开发= 自己组装电脑。你需要选CPU、主板、显卡、内存，自己接线、装系统、装驱动，稍微接错一根线就开不了机。= 买品牌机。厂家已经帮你把所有硬件组装好了，系统预装好，驱动都配好，你按下电源键就能直接用。自动配置：根据你引入的依赖，自动帮你配置好Spring应用内嵌服务器：不用再单独安装Tomcat，打包成jar就能跑约定优于配置：提供默认配置，你只需要修改不同的部分简化依赖管理：通

传统Spring开发（自己做饭）要先去买五花肉、酱油、糖、姜、蒜...要自己切肉、焯水、炒糖色...还要掌握火候、时间...稍不注意就糊了Spring Boot开发（点外卖）只需要说"我要一份红烧肉"有人帮你把所有食材准备好按照标准流程烹饪你只需要"开吃"Spring Boot是Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。它遵循"约定优于配置"的