大模型Agent开发必看:为什么上下文工程才是成败关键?(建议收藏)
构建一个 Agent 核心的三个部分是:模型、工具、编排,但实际上影响 Agent 最终效果的是上下文工程。
为什么是上下文工程?
很多时候优化效果都是在调提示词,我做过一些 Agent 项目及跟业内的一些朋友进行过交流:
1. 模型
大家在模型层面可选性不多,主要集中在 Claude 和 ChatGPT 这两个主流模型上。
对大模型进行微调的需求则十分少见,大多数团队或者应用场景都不需要 finetune,只要把检索增强生成(RAG)做得到位,就足够用了。但目前大多数 RAG 系统设计都还太过简单,做得不够成熟。
2. 工具
工具则根据业务的实际需求触发,去开发适配需求的工具就好,大多数工具或者 MCP 通常是公司内部沉淀的已有接口。
3. 编排
工作流的选择上,目前主流方案基本上就两种:
-
- 使用 LangChain 的链式调用方式;
-
- 使用 LangGraph 的有向无环图。
以上 3 大核心模块存在差异化的地方不多,都是业内成熟的方案,对效果的影响来说是一个固定因子,而唯一的变量因子在哪里呢?就是上下文工程。
真正高级的上下文工程是什么?
如果要让模型实现记忆,最简单的一个做法就是把用户与 LLM 对话记录下来,然后再通过 prompt 传给 LLM,从而实现短期记忆。
再进一步把短期记忆存储到数据库或者文件等介质中,用户过了一段时间再来使用能够读取出上次的对话内容就是长期记忆。

当我们了解到上下文记忆技术后,常见的 Agent 失败的模式:
对所有内容一股脑地索引,导致检索结果过多,从而让模型无法判断重点并产生混淆
- • 索引过多 → 检索到过多信息 → 混淆模型;
- • 索引过少 → 模型缺乏有效信号;
- • 混合结构化和非结构化数据 → 破坏嵌入或简化关键架构。
那么,真正的高级上下文工程到底是什么样的呢?

LLM 的特征选择:
选择性上下文剪枝 = 特征选择
众所周知,LLM 存在输入 token 限制,哪怕现在支持了 100万 token 的上下文,但随着对话轮数的不断增加,token 还是有超出的情况。特别是在笔者从事的代码生成领域,token 超出经常碰到。
怎么去做剪枝是一个很有意义的工作,主要围绕时间和内容两个方向,大致的方法有:滑动窗口、关键词关联性、向量相似度等。
上下文验证 = 模式/类型/时效性 检查
上下文验证中,模式、类型、时效性检查是三大核心维度,它们共同确保 Agent 所依赖的上下文信息 “形式合规、内容有效、符合当下场景”,是避免 Agent 基于错误或过时信息做出决策的关键机制。
模式检查(Schema Validation):验证上下文信息是否符合预设的结构规范(如格式、字段、语法),避免因格式混乱导致 Agent 解析错误。
类型检查(Type Checking):验证上下文信息的 “数据类型” 和 “语义类型” 是否与当前任务所需一致,避免 “答非所问” 或 “参数类型错误”。
时效性检查(Timeliness Checking):验证上下文信息的 “时间有效性”,判断其是否适用于当前任务的时间场景,避免用过期信息做决策。
“上下文可观测性” = 跟踪哪些输入提高/降低了输出质量
基于 langgraph 的生态提供的 langSmith 工具可以很好的捕捉到 LLM 对话中的上下文参数信息,它提供的 trace 信息能够快速定位是 “上下文缺失关键信息”“信息被错误剪枝” 还是 “LLM 误解了上下文” 。
带元数据的嵌入增强 = 类型化特征 + 条件
通过类型化特征(Typed Features) 与条件约束(Conditions) 的结合,让嵌入向量不仅包含原始文本的语义信息,还能编码结构化的元数据(如类别、时间、来源等),从而提升检索、匹配或推理的精准度。
举个例子:
文本 - 元数据拼接后嵌入
做法:将原始文本与结构化元数据(转为文本描述)拼接,再输入嵌入模型(如 Sentence-BERT)。
原始文本:“北京今日气温 25℃”
元数据:{“type”: “weather”, “timestamp”: “2025-10-15”, “source”: “气象局”}
拼接后:“北京今日气温 25℃ [类型:天气;时间:2025-10-15;来源:气象局]”
嵌入:用模型将拼接后的字符串转为向量。
优势:简单易实现,兼容任何嵌入模型;
局限:元数据的结构化信息可能被文本语义稀释(如时间格式的精确性被模糊处理)。
最后:
这种框架很重要。这意味着我们可以将上下文视为一个可版本化、可审计、可测试的工程,而不仅仅是一串字符串。
普通人如何抓住AI大模型的风口?
领取方式在文末
为什么要学习大模型?
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。
目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:
人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!
最后
只要你真心想学习AI大模型技术,这份精心整理的学习资料我愿意无偿分享给你,但是想学技术去乱搞的人别来找我!
在当前这个人工智能高速发展的时代,AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长,真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料,能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来,我们不断打磨课程体系与技术内容,在细节上精益求精,同时在技术层面也新增了许多前沿且实用的内容,力求为大家带来更系统、更实战、更落地的大模型学习体验。

希望这份系统、实用的大模型学习路径,能够帮助你从零入门,进阶到实战,真正掌握AI时代的核心技能!
01 教学内容

-
从零到精通完整闭环:【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块,内容比传统教材更贴近企业实战!
-
大量真实项目案例: 带你亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!
02适学人群
应届毕业生: 无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型: 非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈: 传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。

vx扫描下方二维码即可
本教程比较珍贵,仅限大家自行学习,不要传播!更严禁商用!
03 入门到进阶学习路线图
大模型学习路线图,整体分为5个大的阶段:
04 视频和书籍PDF合集

从0到掌握主流大模型技术视频教程(涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向)

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路(不吹牛,真有用)
05 行业报告+白皮书合集
收集70+报告与白皮书,了解行业最新动态!
06 90+份面试题/经验
AI大模型岗位面试经验总结(谁学技术不是为了赚$呢,找个好的岗位很重要)

07 deepseek部署包+技巧大全

由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发
更多推荐
所有评论(0)