在学习AI智能体的记忆机制时，我发现自己被各种新术语搞得晕头转向。一开始是短期记忆和长期记忆，接着又出现了程序性记忆、情景记忆和语义记忆，让人更加困惑。但等等，语义记忆让我想起了一个熟悉的概念：检索增强生成（RAG）。

智能体中的记忆机制会不会是RAG从最初的形态演进到智能体RAG之后的下一步呢？从本质上讲，智能体中的记忆就是在大语言模型（LLM）的上下文窗口中进行信息的输入和输出。至于把这些信息称为"记忆"还是"事实"，在这个抽象层面上都不是重点。

这篇文章将从一个不同的角度来介绍AI智能体中的记忆机制。我们不会（立即）讨论短期和长期记忆，而是从最初的RAG概念开始，逐步演进到智能体RAG，最后到达AI智能体的记忆机制。（需要注意的是，这只是一个简化的思维模型。智能体记忆这个完整的话题在底层实现上要复杂得多，涉及到诸如记忆管理系统等内容。）

RAG：一次性只读操作

检索增强生成（RAG）的概念在2020年由Lewis等人提出，并在2023年前后开始流行。这是第一个让无状态的LLM能够访问过去对话和训练期间未曾见过并存储在模型权重中的知识（参数化知识）的概念。

最初的RAG工作流程的核心思想非常直接，如下图所示：

• 离线索引阶段：将额外信息存储在外部知识源中（例如向量数据库）
• 查询阶段：使用用户的查询从外部知识源中检索相关上下文。将检索到的上下文连同用户查询一起输入LLM，获得基于这些额外信息的回答。

下面的伪代码展示了最初的RAG工作流程：

虽然最初的RAG方法在简单用例中能够有效减少幻觉问题，但它有一个关键限制：这是一次性的解决方案。

• 通常会从外部知识源检索额外信息，而不会先判断是否真的需要
• 信息只检索一次，不管检索到的信息是否相关或正确
• 所有额外信息都只来自一个外部知识源

这些限制意味着对于更复杂的用例，如果检索到的上下文与用户查询不相关甚至是错误的，LLM仍然可能产生幻觉。

智能体RAG：通过工具调用实现只读

智能体RAG解决了最初RAG的许多局限性：它将检索步骤定义为智能体可以使用的工具。这一改变使得智能体能够首先判断是否需要额外信息，决定使用哪个工具进行检索（例如，存储专有数据的数据库与网络搜索），并评估检索到的信息是否与用户查询相关。

下面的伪代码展示了智能体如何在智能体RAG工作流程中调用SearchTool：

最初的RAG和智能体RAG的一个共同点是，信息是离线存储在数据库中的，而不是在推理过程中存储。这意味着数据只能被智能体检索，而不能在推理过程中写入、修改或删除。这个限制意味着最初的RAG和智能体RAG系统（默认情况下）都无法从过去的交互中学习和改进。

智能体记忆：通过工具调用实现读写

智能体记忆通过引入记忆管理概念，克服了最初RAG和智能体RAG的这一限制。这使得智能体能够从过去的交互中学习，并通过更个性化的方式提升用户体验。

智能体记忆的概念建立在智能体RAG的基本原则之上。它同样使用工具从外部知识源（记忆）中检索信息。但与智能体RAG不同的是，智能体记忆还使用工具向外部知识源写入信息，如下所示：

这使得智能体不仅能够从记忆中回忆，还能够"记住"信息。在最简单的形式中，你可以在交互后将原始对话历史存储在一个集合中。然后，智能体可以搜索过去的对话来找到相关信息。如果你想扩展这一功能，可以提示记忆管理系统创建对话摘要以供将来参考。此外，你还可以让智能体在对话过程中注意到重要信息（例如，用户提到喜欢使用表情符号或提到自己的生日），并基于这个事件创建记忆。

下面的伪代码展示了智能体记忆的概念如何通过WriteTool扩展智能体RAG的思想，使智能体能够存储信息：

这个简化思维模型的局限性

如本文开头所述，这种对AI智能体记忆的比较只是一个简化的思维模型。它帮助我将其与我已经熟悉的概念联系起来。但为了避免让AI智能体记忆的整个话题看起来只是带有写操作的智能体RAG的扩展，我想强调一下这种简化的一些局限性：

上面对AI智能体记忆的说明为了清晰起见进行了简化。它只显示了单一的记忆源。然而，在实践中，你可以为不同类型的记忆使用多个源：你可以为以下内容使用单独的数据集合：

• "程序性"记忆（例如，“与用户互动时使用表情符号”）
• "情景性"记忆（例如，“用户在10月30日谈论计划旅行”）
• "语义性"记忆（例如，“埃菲尔铁塔高330米”）

正如CoALA论文中所讨论的。此外，你还可以为原始对话历史设置一个单独的数据集合。

上述说明的另一个简化是，它缺少超越CRUD操作的记忆管理策略，就像MemGPT中所见的那样。

此外，虽然智能体记忆实现了持久化，但它也引入了RAG和智能体RAG没有的新挑战：记忆损坏以及对记忆管理策略（如遗忘）的需求。

从本质上讲，RAG、智能体RAG和智能体记忆都是关于如何创建、读取、更新和删除存储在外部知识源（例如文本文件或数据库）中的信息。

	存储信息	检索信息	编辑和删除信息
RAG	导入阶段离线存储	一次性	手动
智能体RAG	导入阶段离线存储	通过工具调用动态进行	手动
智能体记忆	通过工具调用动态进行	通过工具调用动态进行	通过工具调用动态进行

最初，优化最初RAG的关键焦点在于优化检索方面，例如使用不同的检索技术，如向量搜索、混合搜索或基于关键词的搜索（“如何检索信息”）。然后，焦点转向使用正确的工具从不同的知识源检索信息（“我需要检索信息吗？如果需要，从哪里检索？”）。在过去一年中，随着智能体记忆的出现，焦点再次转移。这次转向了信息是如何管理的：虽然RAG和智能体RAG非常关注检索方面，但记忆机制涵盖了在外部知识源中创建、修改和删除数据的过程。

0基础怎么入门AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓