大模型对齐是连接基础模型能力与实际用户需求的重要环节。SFT：通过示范数据教会模型如何回答。RLHF：利用人类偏好训练奖励模型，并通过强化学习等方式优化模型。DPO：直接利用偏好数据优化模型，无需单独训练奖励模型。RLAIF、KTO、GRPO 等方法：为不同反馈形式和优化目标提供了其他选择。真正理解大模型对齐，不能只记住几个英文缩写，更重要的是理解训练数据、优化目标、模型行为和评估指标之间的关系。