收藏!小白程序员必看:大模型如何学会“学习”不再是死记硬背
本文介绍了两篇关于大模型学习的论文,一篇通过技能参数让模型学会学习,另一篇通过系统提示词实现技能学习。这两篇论文都旨在解决模型如何真正“学会学习”,而不是死记硬背的问题。第一篇论文提出了一种名为Ctx2Skill的方法,通过多智能体自博弈,让模型自己跟自己对抗,从而学会技能。第二篇论文则提出了一种名为OPID的方法,通过从模型刚跑完的轨迹中回溯提取技能,让模型学会技能。这两篇论文都为模型学习提供了新的思路和方法,对于想要深入了解大模型学习的程序员来说,是非常有价值的参考资料。
最近刷 arXiv,清华同期冒出两篇「Skill」的论文。


一篇把Skill技能吃进模型参数,一篇把Skill技能摆进系统提示词——一个管训练,一个管推理。放在一起看,你会发现他们其实在回答同一个问题:怎么让模型真正「学会学习」,而不是死记硬背。

第一篇 Ctx2Skill:把技能摆出来,专治长上下文的无人标注
Ctx2Skill 攻的是推理期另一个老大难:给模型一坨几万字的长上下文,怎么让它"会用"而不是"看完就忘"。
传统上下文学习的技能得靠人标注,长、密、领域专深的上下文标注成本高到不现实;想自动化又苦于没有外部反馈——不像代码能跑、数学能验算,读一份法律/医疗文档"学到了没"没人给你打分。
Ctx2Skill 的解法是多智能体自博弈:既然没人反馈,就让模型自己跟自己对抗。

Ctx2Skill 总览:自博弈循环 + Cross-Time Replay
五个冻结的 LM 智能体角色,迭代博弈:
- Challenger:读上下文,出题(带评分细则),专挑模型不会的考。
- Reasoner:在技能引导下答题。
- Judge:中立裁判,逐条细则给二元判定,全部通过才算解出。
- 每方还各配一个 Proposer(把共性的成功/失败模式综合成诊断)和 Generator(把诊断落成新的技能集)。
关键设计是严格对抗:失败案例路由给 Reasoner 侧去补技能漏洞,太容易的案例路由给 Challenger 侧去加难度,任何一方都看不到对方的技能集。双方靠累积的自然语言技能共同进化。

Figure 1: The illustration of Ctx2Skill.
但自博弈有个通病——对抗崩溃:Challenger 会越出越刁钻,Reasoner 的技能过度特化,泛化反而下降。论文里实测 GPT-5.2 的解出率从 36.1% 一路掉到 23.0%。Ctx2Skill 用 Cross-Time Replay 兜底:把每轮最难的失败题、最简单的解出题存成探针集,事后让每个历史技能集都在探针上重评,选难易通过率乘积最大的那一版。乘法形式会惩罚「为了难题牺牲简单题」的偏科技能集。结果:16.5% 的最终成绩超过任何一次固定迭代,且早期迭代被选最频繁。

效果上,Ctx2Skill 在自建的 CL-Bench(500 上下文、1899 任务、31607 条细则)上把 GPT-4.1 从 11.1% 拉到 16.5%(+5.4),甚至带技能的 GPT-4.1 超过了不带技能的 Gemini 3 Pro。技能质量五维评分也全维度领先基线。一个有意思的副产品:强模型产出的技能能向弱模型迁移(GPT-5.1 的技能给 GPT-4.1 用,能逼近 GPT-4.1 自己造的技能),反过来则差很多——技能本身有「智力含量」。

第二篇 OPID:把技能吃进去,专治 RL 的稀疏奖励

Agentic RL 有个老毛病:奖励只在轨迹结尾给一次(成功 or 失败),中间几十步到底哪一步走对了、哪一步埋了雷,模型完全不知道。GRPO 这类方法稳是稳,但「一个早期失误就让整条轨迹崩盘」时,稀疏奖励几乎给不出学习信号。
已有的做法是外挂一个技能库,训练时检索几条技能来引导。但外部技能库维护贵,而且和当前策略实际遇到的状态对不上——多轮交互里轨迹稍微一偏,检索来的技能就文不对题了。
OPID 的思路很直接:不外挂,从模型自己刚跑完的轨迹里回溯提取技能。

OPID 方法总览:从在线轨迹提取层级技能并路由,到技能优势计算
它把轨迹 hindsight 拆成两层技能:
- Episode 级技能:总结整条轨迹的全局套路——成功轨迹提炼可复用工作流,失败轨迹提炼避错规则,宽泛稳定,当默认指导。
- Step 级技能:只在关键时间步捕捉局部决策(比如「别再重复那个无效动作了」),更精准但稀疏。
然后是关键优先路由(critical-first routing):走到关键决策点用 step 级技能,其它时候回落到 episode 级技能,两层不盲目混合。选中的技能被塞回交互历史,让旧策略在「有技能」和「没技能」两种上下文下,对同一个已采样回复重新打分——回复本身不重新生成。两个对数概率的差,就是一个 token 级的自蒸馏优势,再和原本的结果优势拼一起做 GRPO 优化。
这里最妙的一点:推理时什么都不用带——没有分析器调用、没有技能检索、没有特权上下文。技能在训练阶段就把" hindsight 知识"内化进了参数。
证据很硬:
| 模型 | 任务 | GRPO | OPID | 提升 |
|---|---|---|---|---|
| Qwen2.5-3B | ALFWorld | 75.0 | 84.3 | +9.3 |
| Qwen2.5-7B | ALFWorld | 81.2 | 90.0 | +8.8 |
| Qwen3-1.7B | WebShop | 38.3 | 64.8 | +26.5 |

更能说明问题的是「内化」实验:同样不带技能去推理,传统 Skill-GRPO 比 GRPO 还低 14.8~25.0 分(技能成了推理时的拐杖,拿掉就瘫),而 OPID 反而比 Skill-GRPO 高 +24.1~+37.8 分——技能真被写进了权重。而且样本效率明显更高,80% 训练数据的 OPID 就能超过 100% 数据的 GRPO。

ALFWorld具体案例分析
最后
对做产品和工作流的同学来说,这意味着两件具体的事:第一,长文档/长会话场景不用再硬堆 prompt,Ctx2Skill 这套自博弈可以离线给每个上下文造一组可复用技能;第二,Agent RL 不用再忍受稀疏奖励干等终局,OPID 这种轨迹回溯自蒸馏能在不增加推理负担的前提下把奖励稠密化。两篇都把"技能"从人工手写变成了模型自产,这才是真正卷的地方。
论文标题: From Context to Skills: Can Language Models Learn from Context Skillfully?
论文链接: https://arxiv.org/html/2604.27660v3
GitHub: https://github.com/S1s-Z/Ctx2Skill
论文标题: OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning
论文链接: https://arxiv.org/html/2606.26790v1
GitHub: https://github.com/jinyangwu/OPID/tree/main
最后
最近两年互联网招人逻辑完全换了赛道:
只会写基础业务代码、天天做CRUD的传统开发岗位越来越少,能落地AI大模型、帮公司做业务智能化的技术人,成了各大大厂抢着要的香饽饽。
2026年春招市场,大模型相关岗位直接稳居招聘第一位!
AI相关岗位数量同比暴涨8.7倍,在所有新经济岗位里占比从2.78%飙升到22.03%,简单说:10个技术岗,2个都是AI大模型岗。
头部大厂2026春招全员押注AI,传统岗位持续缩编
- 字节:春招总共放出7000个名额,研发岗4800+,70%名额全部倾斜AI开发、AI产品,人才缺口巨大
- 腾讯:春招扩招1万人,技术岗扩招36%、产品岗扩招39%,扩招核心全是大模型方向
- 华为:全年持续开放AI实习岗,覆盖全赛道:底层算力基建、大模型应用开发、LLM工程师、AI数据安全隐私等

数据来源脉脉,侵删
不管你是写了多年代码的老程序员、刚入行的初级开发,还是零基础想转行跨进互联网的普通人:
现在几乎所有企业招人,都把 “会大模型落地” 当成硬性加分项。
只会传统开发,未来只会面临裁员、降薪、岗位缩减;主动学大模型,才能躲开内卷,抓住持续多年的高薪风口。
别等行业淘汰再补救,现在入局正是红利期!
今天贴心为大家准备好了一系列AI大模型资源,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴,可以点击下方链接免费领取【保证100%免费】

1、学习路线图

2、视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

(都打包成一块的了,不能一一展开,总共300多集)
3、技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。

4、LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
5、大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
6、大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

以上资料如何领取?

为什么大家都在学大模型?
最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

不出1年,“有AI项目经验”将成为投递简历的门槛。
风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!

这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

以上全套大模型资料如何领取?

更多推荐


所有评论(0)