摘要： 生成对抗网络（GAN）和扩散模型是当前主流的生成式模型，分别基于对抗性博弈和去噪扩散原理。GAN通过生成器与判别器的对抗训练快速生成高保真样本，但易出现模式崩溃和训练不稳定；扩散模型则通过逐步去噪过程稳定学习数据分布，生成多样性更好的样本，但采样速度较慢。GAN适合实时应用，扩散模型在理论完备性和质量上更优，正成为主流。未来趋势可能包括两者的融合与优化。

这三阶段范式是构建现代强大、安全、可控的大语言模型的核心蓝图。预训练得到的基础模型虽然知识渊博，但其行为模式是“被动”地续写文本，而非“主动”地以有用、可靠的方式响应用户的指令或问题。（通常通过人类反馈的强化学习实现）则旨在让模型的输出更符合人类的价值标准和偏好。通过RLHF，模型学会了在“保持语言通顺”和“最大化人类偏好”之间取得平衡，最终输出更安全、更有用的内容。即上一阶段描述的SFT，用于收

这三阶段范式是构建现代强大、安全、可控的大语言模型的核心蓝图。预训练得到的基础模型虽然知识渊博，但其行为模式是“被动”地续写文本，而非“主动”地以有用、可靠的方式响应用户的指令或问题。（通常通过人类反馈的强化学习实现）则旨在让模型的输出更符合人类的价值标准和偏好。通过RLHF，模型学会了在“保持语言通顺”和“最大化人类偏好”之间取得平衡，最终输出更安全、更有用的内容。即上一阶段描述的SFT，用于收

并通过一系列关键的架构创新（ReLU、Dropout、小卷积核、Inception、残差连接、分组卷积）不断突破深度学习的边界。从LeNet到ResNeXt的历程，不仅是模型变得更深更强大的过程，更是我们对如何构建有效神经网络的理解变得愈发深刻的过程。CNN的归纳偏置使其特别适合处理图像类数据，这些偏置直接编码了我们对视觉世界的基本认知。这些归纳偏置使CNN无需从零开始学习图像的所有结构属性，从而

这三阶段范式是构建现代强大、安全、可控的大语言模型的核心蓝图。预训练得到的基础模型虽然知识渊博，但其行为模式是“被动”地续写文本，而非“主动”地以有用、可靠的方式响应用户的指令或问题。（通常通过人类反馈的强化学习实现）则旨在让模型的输出更符合人类的价值标准和偏好。通过RLHF，模型学会了在“保持语言通顺”和“最大化人类偏好”之间取得平衡，最终输出更安全、更有用的内容。即上一阶段描述的SFT，用于收

摘要： 大语言模型的高资源消耗阻碍了实际部署，需通过量化、剪枝和知识蒸馏优化推理效率。量化降低数据精度（如FP32→INT8），减少内存与计算量，但可能损失精度；剪枝剔除冗余参数（结构化/非结构化），压缩模型规模；知识蒸馏让小模型学习大模型的输出分布，保留性能的同时减小体积。三者常联合使用（如先蒸馏后剪枝+量化），在移动端等场景实现高效推理。这些技术从数据、结构和训练层面协同突破大模型落地瓶颈，是