大模型必备技能:一文搞懂上下文工程(Context Engineering)(从入门到上手)
大模型必备技能:一文搞懂上下文工程(Context Engineering)(从入门到上手)
LangChain 官方博客曾对上下文工程(Context Engineering) 作出明确定义:它是一套构建动态系统的方法论,核心目标是为大语言模型精准匹配完成任务所需的信息与工具支持,让模型“具备达成目标的可能性”。相较于早期聚焦单一提示词优化的“Prompt Engineering”,上下文工程的核心差异体现在三个维度:
- 系统性整合:代理的上下文来源广泛,涵盖开发者预设规则、用户实时需求、历史交互记录、工具调用结果及外部数据库信息等,需通过逻辑化框架将这些分散要素有机组合
- 动态化适配:上下文并非固定不变,而是随任务推进实时生成与更新,因此要求系统具备灵活拼接、动态调整提示内容的能力
- 精准化供给:多数代理执行任务失败,根源并非模型自身能力不足,而是缺乏适配的信息或工具支持。因此,确保信息的充分性与格式的规范性至关重要
人工智能领域权威学者安德烈·卡帕西(Andrej Karpathy)曾用计算机操作系统作类比,生动诠释了上下文工程的作用:若将 LLM 比作CPU(核心计算单元),上下文窗口则相当于RAM(工作内存),而上下文工程就是负责调度“哪些信息能进入 RAM”的管理系统。由于 RAM 容量存在物理上限(即模型上下文窗口长度限制),上下文工程的核心价值就在于通过精准筛选与高效组织,让有限内存发挥最大效用,避免“内存溢出”导致的性能损耗。
1、为何上下文工程是代理系统的“刚需”?
在大模型代理系统中,任务执行往往伴随多轮对话交互与频繁工具调用,这必然导致上下文信息持续累积、长度不断增加,进而引发两大核心问题:
1. 成本与效率失衡:过长的上下文会显著提升模型的计算成本(Token 消耗增加),同时延长响应延迟,甚至可能因信息过载导致模型推理能力下降
2. 新型失败模式涌现:工程师 Drew Breunig 曾系统总结过长上下文场景下的四大典型失败模式,具体如下:
- 上下文污染(Context Poisoning):一旦错误信息或模型幻觉内容进入上下文,会被后续交互反复引用,导致代理围绕错误目标持续做出无效决策
- 上下文干扰(Context Distraction):上下文过长时,模型可能过度关注历史交互细节,反而忽略自身训练所得的通用知识,出现“重复已有行为”的循环困境
- 上下文混乱(Context Confusion):上下文中混入过多无关内容(如冗余的工具使用说明、重复的用户问题),会干扰模型判断,引发“调用不必要工具”的误操作
- 上下文冲突(Context Clash):当上下文中存在相互矛盾的信息(如用户前后表述的需求不一致)时,模型难以判断优先级,导致决策摇摆不定
由此可见,单纯依靠扩大模型上下文窗口并非解决问题的“万能钥匙”,反而可能因信息管理失控引入新风险。而上下文工程通过对信息的合理整理、高效压缩与科学隔离,恰好能针对性规避上述问题,成为代理系统稳定运行的“基石”。
2、上下文工程的四大核心策略
LangChain 团队经过大量实践,将主流的上下文工程策略归纳为四大类:写入(Write)、选择(Select)、压缩(Compress)与隔离(Isolate)。需要强调的是,这四大策略并非相互独立,在复杂代理系统中,通常需要根据任务场景灵活组合、协同应用。
1、 写入(Write):突破上下文窗口的“记忆延伸”
“写入”策略的核心思路是:将暂时无需实时调用,但未来可能用到的信息,存储到上下文窗口之外的“外部仓库”中,形成可随时检索的“扩展记忆”。典型应用场景包括:
-
草稿本(Scratchpad):类比人类处理复杂任务时的“随手记”,代理通过工具调用将临时信息(如中间计算结果、任务拆分步骤、待验证假设等)写入文件或状态对象,在任务推进过程中按需快速访问。例如,Anthropic 团队在多代理研究系统中,会在任务启动前将详细研究计划写入外部记忆,有效避免因上下文超过 20 万 Token 上限而被截断的问题;LangChain 旗下的 LangGraph 框架,更是为代理内置了短期记忆(Short-term Memory) 功能,通过“检查点”机制在会话内实时保存关键状态。
-
长期记忆(Long-term Memory):针对需要跨会话留存的信息(如用户长期偏好、历史任务反馈、高频使用的工具参数等),通过“长期记忆”模块实现持久化存储。斯坦福大学提出的“生成式代理(Generative Agents)”概念,正是通过定期汇总历史交互反馈,动态构建代理的长期记忆库;如今,ChatGPT、代码编辑器 Cursor、文档处理工具 Windsurf 等主流产品,均已实现“自动生成用户长期记忆”的功能,让代理能基于历史交互持续优化服务。
2、选择(Select):精准提取的“信息过滤”
“选择”策略聚焦于:从海量的外部记忆、本地文件或工具调用结果中,筛选出与当前任务高度相关的信息,注入到当前上下文窗口中。常见实践方式包括:
- 小样本示例(Few-shot Examples):作为代理的情景记忆(Episodic Memory),通过提供少量典型任务的“输入-输出”示例,引导代理模仿预期行为模式,快速适配特定任务场景。
- 指令/规则(Procedural Memory):以结构化文档形式(如系统提示词、规则手册)存储,用于规范代理的核心行为逻辑。例如,Anthropic 旗下 Claude Code 工具,就是通过加载
CLAUDE.md
规则文件,明确代码生成、调试、优化的具体准则。 - 事实知识(Semantic Memory):存储领域知识、实体属性、常识信息等“硬知识”,供代理在推理过程中随时检索调用,弥补模型训练数据的时效性或领域局限性。
在 LangGraph 框架中,开发者可在代理的每个“处理节点”按需触发状态或长期记忆检索,并借助嵌入检索(Embedding Retrieval)、语义匹配等技术,精准筛选出最相关的记忆内容。值得注意的是,在工具选择场景中,研究数据显示:采用 RAG(检索增强生成)技术对工具说明文档进行动态检索,可使代理的工具选择准确率提升至少 3 倍。
为更清晰区分不同记忆类型的应用场景,以下为核心信息对照表:
记忆类型 | 核心存储内容 | 代理应用示例 |
---|---|---|
语义记忆 | 客观事实(Facts) | 用户的职业、常用工具偏好 |
情景记忆 | 过往经历(Experiences) | 历史任务中的工具调用记录 |
程序记忆 | 操作指令(Instructions) | 系统提示词、工具使用规范 |
3、 压缩(Compress):高效留存的“信息瘦身”
“压缩”策略旨在通过摘要(Summarization) 或修剪(Trimming) 技术,在保留核心信息的前提下,大幅缩短上下文长度,降低模型计算压力。具体实现方式分为两类:
-
摘要(Summarization):借助 LLM 对长文本(如多轮对话历史、工具调用日志)进行“浓缩提炼”,仅保留关键决策节点、核心需求与重要结论。例如,Claude Code 工具会实时监控上下文占用率,当达到窗口容量的 95% 时,自动触发“Auto-Compact”功能完成对话摘要;AI 公司 Cognition 则专门训练了轻量级微调模型,用于压缩代理间的交互信息,在减少 Token 消耗的同时,最大限度保留知识传递的完整性。
-
修剪(Trimming):通过预设规则或算法,主动剔除上下文内的冗余信息。常见方式包括:按时间排序保留最近几轮对话、移除重复出现的指令说明;此外,由研究者开发的Provence 模型,创新性地将上下文剪枝转化为“序列标注问题”,通过模型判断每句话的重要性,实现句子级别的精准剪枝,在多领域问答任务中,能做到“剪枝后性能几乎无损耗”。
需要注意的是,压缩策略并非“万能解法”:过度摘要可能导致关键细节丢失,盲目修剪则可能误删重要信息。因此,实际应用中需结合任务特性(如是否为精密推理任务、是否依赖历史细节),动态调整压缩强度与方式。
4、隔离(Isolate):并行高效的“任务拆解”
“隔离”策略的核心逻辑是:通过分工协作将复杂任务拆解为多个子任务,让每个子任务在独立的上下文窗口中执行,从而降低单个窗口的信息压力,提升整体执行效率。典型实践方案包括:
-
多代理架构(Multi-Agent Architecture):Anthropic 团队在 Claude 研究模式中,采用“主代理 + 子代理”的分层架构:主代理负责解析用户需求、制定整体研究计划,并将任务拆解为多个并行子任务;子代理各自拥有独立的上下文窗口与工具集,专注于单一子任务(如文献检索、数据计算、结论验证),完成后将结果反馈给主代理,由其汇总形成最终答案。内部评测数据显示,该架构在“广度优先查询”任务中,效果比单代理方案提升 90% 以上,但 Token 消耗约为传统对话模式的 15 倍,因此更适合高价值、可并行化的复杂任务(如学术研究、商业分析)。
-
环境与沙盒分离(Environment & Sandbox Isolation):Hugging Face 开发的代码代理系统,将“代码执行”环节与“模型推理”环节分离:代码运行、图像渲染、大型数据对象处理等消耗大量 Token 的操作,均在独立沙盒环境中完成,仅将最终结果(如运行输出、图像链接、数据摘要)传回 LLM 上下文,有效隔离了高Token消耗任务对模型推理的干扰。
-
状态对象分层(State Object Layering):在 LangGraph 框架中,开发者可设计包含多个字段的“状态 Schema”,例如将“对话消息(Messages)”“工具调用记录(Tool Logs)”“用户偏好(User Preference)”分为不同字段,仅将与当前任务直接相关的“Messages”字段暴露给模型,其余字段作为“后台环境数据”按需调用,实现上下文的“按需加载”。
不过,Cognition 团队(Devin 大模型开发团队)也指出,多代理架构存在明显局限性:容易出现子代理间上下文共享不充分、决策冲突等问题。基于实践经验,他们总结出两条关键原则:原则一:必须确保所有代理共享完整的上下文与任务轨迹;原则二:代理的每个动作都隐含决策偏好,需避免多代理决策冲突。因此,实际开发中应谨慎选择多代理架构,多数场景下,优先采用“线性单代理 + 压缩技术”的组合,更能兼顾可靠性与成本效益。
3、如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
4、为什么要学习大模型?
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
5、大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
适用人群
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)