最近半年都在搞和强化微调相关的内容，发现了很多的问题，这里进行一些简单的整理和梳理，希望可以给后来者一些灵感。

在进行 GRPO 训练时经常会出现稳定性的问题，这种问题包括：

• 训练突然奔溃，reward 下降或者格式崩溃等问题，突然出现很多的重复内容，意义不明的内容等。
• 难以进一步优化，经常出现 rollout 结果无法提供有效奖励的问题。
• 在长时间训练中模型稳定性下降，会导致同1中的问题。
• 比较明显的 reward hack 问题。
• 多种任务奖励不均匀导致的任务崩溃问题。
• 样本难度导致的训练倾向性。

在实际的使用中发现了这些问题，并尝试进行了改善。

改善方法

（1）多任务奖励均匀性问题

实际使用中会对不同的任务进行训练，但是不同的任务会使用不同的 reward，这导致不同任务之间的奖励存在分布的差异性。、

比如相对困难的任务奖励平均值会小一些，简单的任务奖励的平均值会大一些，这种任务之间的明显的奖励割裂导致训练到后期困难任务快速劣化。

这实际上是奖励不充分的问题，困难任务长期得到较低的奖励，高奖励内容匮乏。

同时由于一起训练、困难任务对应的 token 模式优化速度较慢，在 policy grad 的优化中出现明显的落后的现象，最终结果变得很差。

解决这个问题的方法：

• 奖励平衡，在实际训练开始前进行测试训练，统计两种任务在部分样本上的均值，然后对奖励函数进行调整，将两个任务的奖励均值拉到同一水平。
• 高奖励死区，对困难任务（一些回归属性的任务），设置高奖励内容的死区，认定在一定的偏差内可以直接获得满分或者另一个均值接近满分的分段奖励，从而提高任务的高奖励效果。

实际使用中这两种方法基本上可以解决绝大多数问题。

（2）样本难度分布不均

这个问题是一个基本问题，目前的 policy 基本上还是抽卡奖励的行为，如果样本中存在极简样本或者极难样本都会导致模型在一些简单 token 上获得超额的奖励，这最终会导致模型只能输出优势 token 而不能正常完成任务。

解决这种问题的方法就是预奖励过滤，使用初始的模型进行样本生成，将获得满分的样本从数据集中按照一定比例剔除，通常不会全部删除，预防奖励不足的问题。

如果实际过程中出现奖励断层或集中的问题，也需要补充相应的数据或对相应的数据区间进行抽样。

（3）reward hack

这几乎是强化微调中最为致命的问题，如果任务相对复杂，需要大量的约束条件，这时候往往会设计很多的 reward 条件，这些条件很难保证可以覆盖足够广泛的案例。

这就会导致有一些样本在目标之外的到了超额的奖励，从而使模型向奇怪的方向发展。

这种问题相对难以解决，通常是一段时间训练后发现结果中出现奇怪的内容后才能进行相应的调整。

（4）长时间训练导致的后期稳定性问题

这个问题几乎是现在所有强化微调从原理上导致的问题，对高奖励 token 的学习会无情的摧毁模型的基本模式；

由于数据集很难做到完美，优势 token 的存在不可避免，这些 token 会破坏模型原始的相对均匀的分布，随着时间的增加，这些分布变化会导致模型瞬间奔溃。

解决这个问题最直接的方式是增加 batch_size，在高 batch 的情况下，尖峰奖励会被平滑，但是当训练资源有限时，很难进行这种大 batch 的训练。

结合 GSPO 的经验，对整个样本进行奖励然后广播奖励到 token 可以比较好的改善优势 token 累积过度的问题；

除此之外保持训练过程的高熵性也可以相对有效的缓解长时间训练的崩溃问题。

另一个比较重要的是：rollout 和训练过程生成相同内容时分布的差异，这一部分的分析会在相应的章节。

（5）优化陷入僵局

这是典型的训练过程熵坍塌的问题，熵过早的衰减导致 rollout 的过程无法有效的获取多样性的样本，从而使模型陷入到难以优化的情况。

解决这个问题的方式有两种：

• 进行熵抑制：通过裁剪策略梯度保持高熵，这种方式可以保证熵不会过早的衰减；但是同时也会进一步限制模型的收敛性，在一些任务中我们最终是不希望模型过度发散的。
• 动态采样：这是 DAPO 中的方式，如果一个采样组的奖励没有区别时，动态的再进行额外的采样，让模型在足够多的采样中获取可能的不同的结果；这个方式的好处是不会影响模型的最终收敛性，但是缺点是不能防止熵崩溃只能延缓这一过程，如果熵坍塌已经发生那么将无济于事。

（6）训练突然崩溃

这一问题在长时间训练中尤为明显，模型突然崩溃，即使是调整 reward 以及数据集也无济于事，其根本原因在于 rollout 采样与训练框架的差异。

为了在训练过程中提高采样的速度，现在的 GRPO 在训练时会使用 VLLM 之类的加速推理方式进行样本的采样，但是加速采样的 policy 分布与训练的 policy 分布之间存在分布差异。

这种差异导致模型优化目标出现差异，最终提供的梯度出现了噪声，导致模型训练一段时间后崩溃。

通过分析推理框架输出的 logits 和 VLLM 输出的 logits 可以明显的发现两个 logits 之间存在 $1e^{-2}$ 级别的差异。

这种差异导致采样的内容无法提供真实的概率分布，导致优化出现偏差；这一问题在低概率 token 上最为明显，从而极大的影响了模型的训练过程。

最根本的解决方式是通过重要性采样，将 VLLM 等加速框架生成的分布当作是采样分布，通过期望的系数变换的方式将差异消除。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

如果你也想通过学大模型技术去帮助自己升职和加薪，可以扫描下方链接【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​