温故而知新，可以为师矣！C语言是我接触的第一门计算机语言，这门语言对我来说具有她独特的魅力。雄关漫道真如铁，而今迈步从头越！由数学危机引入计算机语言的历史比较新颖，同时联想到西方哲学史；危机的起源必定是当前领域的繁荣吧，就像争论一样，如果大家都不关注，那么争论和危机也无从谈起。第一次数学危机：起源：公元前500年，毕达哥拉斯学派；观点：一切数均可表示成整数或整数之比；矛盾：希帕索斯悖...

SFT 让模型学会遵循指令，但"遵循指令"不等于"回答得好"。RLHF（Reinforcement Learning from Human Feedback）通过人类偏好数据训练奖励模型，再用强化学习优化模型，使其输出符合人类偏好。这是 ChatGPT 成功的核心技术。本章详解 RLHF 的三阶段框架、奖励模型与 PPO 算法。

强化学习（RL）研究智能体在与环境交互中通过奖励信号学习最优策略。其框架是马尔可夫决策过程（MDP）：智能体在状态sss采取动作aaa，环境返回奖励rrr和新状态s′s's′，智能体学习策略πa∣sπa∣s以最大化累积奖励。虽然预训练主要用自监督学习，但对齐阶段（RLHF，第13章）会用到强化学习：把语言模型视为策略，把人类偏好转化为奖励，用策略梯度方法优化模型。因此，理解强化学习的基本概念对第四