经过 SFT，模型已经很聪明且听话了。但它可能还不够“好”。有毒：如果你问它“如何制造毒药”，它可能会详细列出化学方程式，因为它在 SFT 阶段被教导要“诚实回答问题”。幻觉：如果不知道答案，它可能会编造一个看起来很像真的答案。缺乏偏好：对于同一首诗，它能写出两个版本，但它不知道哪一个更符合人类的审美。这就引入了后训练阶段，主要包括RLHF（基于人类反馈的强化学习）和最近流行的DPO（直接偏好优化

经过 SFT，模型已经很聪明且听话了。但它可能还不够“好”。有毒：如果你问它“如何制造毒药”，它可能会详细列出化学方程式，因为它在 SFT 阶段被教导要“诚实回答问题”。幻觉：如果不知道答案，它可能会编造一个看起来很像真的答案。缺乏偏好：对于同一首诗，它能写出两个版本，但它不知道哪一个更符合人类的审美。这就引入了后训练阶段，主要包括RLHF（基于人类反馈的强化学习）和最近流行的DPO（直接偏好优化