本文介绍了深度学习模型训练中的核心优化技巧，重点讲解了学习率调度策略。主要内容包括： 训练技巧全景图：展示了包括学习率调度、优化器选型、精度与内存优化等在内的完整训练工具箱。 学习率调度详解： 对比了StepLR、CosineAnnealing、OneCycleLR等6种常用调度器 提供了Warmup实现代码及其重要性说明 给出调度器选型指南，推荐CosineAnnealingLR作为通用方案 代

本文梳理了CNN经典架构的进化历程，重点解读了LeNet-5和AlexNet两个里程碑模型。LeNet-5（1998）作为首个CNN，确立了"卷积-池化-全连接"的范式，证明了端到端学习的可行性。AlexNet（2012）则通过ReLU激活函数、Dropout和数据增强等创新，在ImageNet竞赛中取得突破，开启了深度学习革命。文章通过PyTorch代码实现展示了两个模型的结构特点，并分析了它们