解释自回归生成中的重复计算，推导 KV Cache 的工作方式与显存公式，区分预填充的平方复杂度和单步解码的线性复杂度，介绍 INT8/INT4 量化，并用可运行的 NumPy 实验验证缓存前后输出一致、计算量降低。

从基座模型为何不擅长聊天讲起，解释 SFT 的对话格式与损失掩码、经典 RLHF 的奖励模型和 PPO、DPO 如何直接学习偏好，以及 LoRA 的低秩更新与参数量计算。通过可运行的 NumPy 实验验证 DPO 损失变化和 LoRA 权重合并。