知识蒸馏是一种将大模型知识迁移到小模型的技术，通过让学生模型学习教师模型的预测概率分布（软目标）来提升性能。该方法广泛应用于模型压缩、移动设备和NLP任务，能提高泛化能力并加速推理。核心流程包括训练教师模型、生成软目标和训练学生模型，损失函数结合软硬目标。扩展方法包括温度调节、多教师蒸馏和中间层蒸馏。PyTorch示例展示了蒸馏实现，而ViLD模型则结合视觉和语言知识进行蒸馏，提升跨模态任务性能。

知识蒸馏是一种将大模型知识迁移到小模型的技术，通过让学生模型学习教师模型的预测概率分布（软目标）来提升性能。该方法广泛应用于模型压缩、移动设备和NLP任务，能提高泛化能力并加速推理。核心流程包括训练教师模型、生成软目标和训练学生模型，损失函数结合软硬目标。扩展方法包括温度调节、多教师蒸馏和中间层蒸馏。PyTorch示例展示了蒸馏实现，而ViLD模型则结合视觉和语言知识进行蒸馏，提升跨模态任务性能。

端到端训练是深度学习的革命性范式，通过构建单一可微分模型，直接将原始输入映射到最终输出。其核心突破在于四大要求：1.全局可微分性 - 确保梯度顺畅回流2.统一优化目标 - 单一损失函数3.指导全局优化3.协调特征学习 - 自动演化最优内部表示4.稳定训练动力学 - 管理梯度流保证收敛

Diffusion Model通过渐进式加噪/去噪过程生成图像，训练稳定、质量高但速度慢；GAN采用对抗训练，生成快但训练不稳定。当前Diffusion Model已成为AIGC主流，正解决速度瓶颈，未来可能与GAN技术融合。