对自回归模型，训练目标通常涉及根据前缀预测后续Token并更新参数；监督微调和偏好相关方法进一步调整输出行为。本文用课程答疑场景解释目标与数据分布，不提供厂商内部训练细节，也不将InstructGPT等公开流程概括为所有当前模型的统一实现。

预训练学习的是预测能力

对自回归语言模型，训练可以把文本分成 Token，根据前文预测后续内容，并通过损失与梯度更新参数。模型从大量样本学习语言模式和任务相关规律，但并非逐字保存成可审计的知识表。数据选择、质量与训练设计会影响结果。知道这个目标，有助于理解为什么流畅续写不自动等于事实正确，也不意味着模型天然知道用户真正想完成什么。

图1｜从预测到任务交互。常见自回归模型的几类学习信号

监督微调示范期望行为

监督微调使用输入与期望输出等示范数据，让模型适应任务、格式或交互方式。它改变模型参数，区别于只在上下文中放几条例子。示范质量与覆盖范围很关键：缺少拒答、含糊或边界样本，可能让模型倾向于不加区分地作答。训练后仍要使用未参与训练的数据检查效果，避免把记住示范当成获得可迁移能力。

偏好与反馈提供另一种信号

公开的 InstructGPT 研究展示了示范训练、偏好排序和基于反馈的强化学习流程，目的是让输出更符合人类意图。其他模型还可能采用不同偏好优化与强化学习方法，不能一概而论。反馈目标也不等于客观真理，评价者偏差和奖励设计仍可能产生问题。因此需要独立评测、安全检查与持续观察，不能用训练阶段名称保证最终可靠性。

预测目标怎样带来有用能力，又留下什么缺口

预测后续Token时，模型需要利用上下文里的语法、事实关联与任务模式，训练损失衡量它与样本的差异。大量样本形成可迁移的统计结构，却没有给每段文本建立可精确回查的记录。推理时模型依据当前输入生成，训练中常见的表达更容易出现，也仍要判断它是否适用于眼前问题。

课程答疑就是一个例子。材料里经常有完整答案，模型可能沿着这种模式补出解释，即使题目漏了条件。更多预训练文本未必能教会它何时追问；监督示范则可以呈现条件不足时的回应。若示范只有普通题，没有歧义或冲突，边界问题仍可能照常得到答案。因此，学习到的能力与交互习惯，要在评价中分别观察。

偏好反馈优化的目标仍需被检查

偏好数据会告诉训练过程，两份回答中哪份更符合评价标准。标准若更偏爱篇幅长、语气肯定或格式漂亮，模型可能学到这些外观特征，并不一定同时提高准确性。公开研究展示了人类示范、排序与强化学习结合的方式，但不同模型还可能采用其他目标与流程，不能把经典图示直接当成所有产品内部结构。

检查训练效果时，需要未参与训练的样本，并注意同题改写和近重复造成的信息泄漏。课程答疑可分别观察条件齐全、条件不足和错误前提，看看模型是否在该回答时回答、该澄清时澄清。总体平均分之外，边界行为值得单独看。训练损失下降说明拟合目标改善，用户偏好上升说明某种评价改善，是否适合实际任务仍需要独立证据。

图2｜偏好不自动等于准确。评价标准可能奖励了回答外观

案例

假设训练一个简化课程答疑模型。普通文本用于学习语言规律，监督示范包含问题、依据与回答，也包含缺条件时的追问。反馈阶段比较两份答案，但若评价者总选更长的一份，就可能奖励冗长。最后用未参与训练的普通题、缺条件题和错误前提题分别检查。这个过程是自拟教学设定，没有训练真实模型，也不代表任何厂商完整配方。

图3｜课程问题该怎样回应。边界行为需要相应示范与独立评测

图4｜课程答疑训练信号分开看。普通文本、示范与偏好提供不同目标

区分上下文示例与参数更新

提示里放几组问答，通常改变的是本次推理输入；监督训练则计算损失并更新参数。评估时使用独立数据，检查近重复、模板泄漏和类别失衡。课程答疑至少加入缺条件与错误前提样本，分别统计回答和澄清行为。偏好评价明确标准，避免长度、语气等外观替代准确性；报告训练目标与任务指标时不要互相混用。

实践步骤

1. 画一张训练信号表，分别填写预测目标、示范输出和偏好反馈，标明哪些过程会更新参数，哪些只是推理输入。
2. 为同一答疑任务编写正常、缺证据与含糊三类示范，讨论示范遗漏可能引导的行为，不把数量多当成质量保证。
3. 另写一组未出现在示范中的检查题，固定判定标准，比较事实、格式和不确定性表达，避免用训练样本证明泛化。

常见问题

1. 把训练数据当成可直接查询的精确知识库，误以为模型能稳定给出来源和最新事实。
2. 认为经过人类反馈就不会犯错，忽略反馈标准、数据覆盖与评测分布之间的差别。

练习

给一个你熟悉的任务写三类材料：普通文本、输入输出示范、答案偏好比较。分别说明它们可能提供什么学习信号，再设计一个训练材料没有覆盖的检查问题。用这项练习分清能力形成与验收，避免只背训练阶段名称。

图5｜为同一任务写三类材料。分清每种材料给了什么学习信号

作者的话

三个名词挨着出现，刚学时很容易记混。找一句缺少关键信息的材料，试着写一份好答案，再想想它为什么比瞎猜的答案好。把这道小题讲明白，今天就学到了东西。

p.s.
知乎、CSDN搜索知识薪火站
微信公众号、小红书搜索知识薪火站
也会上传相应笔记，感谢关注。
有建议欢迎提出！
也非常欢迎友好交流