这三阶段范式是构建现代强大、安全、可控的大语言模型的核心蓝图。预训练得到的基础模型虽然知识渊博，但其行为模式是“被动”地续写文本，而非“主动”地以有用、可靠的方式响应用户的指令或问题。（通常通过人类反馈的强化学习实现）则旨在让模型的输出更符合人类的价值标准和偏好。通过RLHF，模型学会了在“保持语言通顺”和“最大化人类偏好”之间取得平衡，最终输出更安全、更有用的内容。即上一阶段描述的SFT，用于收

这三阶段范式是构建现代强大、安全、可控的大语言模型的核心蓝图。预训练得到的基础模型虽然知识渊博，但其行为模式是“被动”地续写文本，而非“主动”地以有用、可靠的方式响应用户的指令或问题。（通常通过人类反馈的强化学习实现）则旨在让模型的输出更符合人类的价值标准和偏好。通过RLHF，模型学会了在“保持语言通顺”和“最大化人类偏好”之间取得平衡，最终输出更安全、更有用的内容。即上一阶段描述的SFT，用于收

摘要： 大语言模型的高资源消耗阻碍了实际部署，需通过量化、剪枝和知识蒸馏优化推理效率。量化降低数据精度（如FP32→INT8），减少内存与计算量，但可能损失精度；剪枝剔除冗余参数（结构化/非结构化），压缩模型规模；知识蒸馏让小模型学习大模型的输出分布，保留性能的同时减小体积。三者常联合使用（如先蒸馏后剪枝+量化），在移动端等场景实现高效推理。这些技术从数据、结构和训练层面协同突破大模型落地瓶颈，是