考完研一段时间了，想着学点东西，看看能不能搞个项目应付一下复试。但作为深度学习小白，只能慢慢学了。今天学习的是手工线性回归的代码，浅浅记录一下。线性回归的表示就是简单的一元函数y = w*x + b。1 实现一个从零开始的线性回归算法2 演示机器学习中参数估计的基本原理3 验证模型能否准确恢复已知的真实参数。

本文介绍了PyTorch中Dataset和DataLoader的设计哲学及使用方法。传统数据加载方式存在内存爆炸、效率低下等问题，而Dataset通过按需加载、自动批处理和并行读取等机制解决了这些问题。文章详细讲解了Dataset的三大必备方法（init、len、getitem）及其工作流程，并分析了train、val、test三种模式的不同作用：训练集用于模型学习，验证集用于调参和检测过拟合，测

在机器学习和深度学习中，损失函数（Loss Function）用来衡量模型预测结果与真实结果之间的差距。简单来说：模型在训练过程中会不断调整参数，使得损失函数的值尽可能小，这个过程就是我们常说的“模型训练”或“模型优化”。损失函数在模型训练中起着核心作用，主要体现在三个方面：1、衡量模型好坏损失值越大，说明预测结果与真实值差距越大；损失值越小，说明模型预测越准确。2、为模型提供优化方向通过对损失函

在实际的数据分析和模型训练过程中，我们经常会遇到这样一种情况：数据本身存在较大的随机波动（噪声），如果只关注当前值，结果会非常不稳定；但如果对所有历史数据一视同仁地求平均，又会对最新变化反应迟钝。正是为了解决这一矛盾而提出的一种平滑方法。

优化器优化对象核心优势主要问题SGD梯度简单直观收敛慢、震荡Momentum梯度方向加速、平滑学习率固定Adagrad学习率稀疏友好学习率衰减过快RMSprop学习率更稳定无动量Adam梯度 + 学习率快且稳理论收敛性争议优化器的本质不是“谁更高级”，而是它们在不同场景下，对梯度信息的使用方式不同。

策略特点常用场景StepLR固定间隔衰减简单任务 baseline指定节点衰减人工控制训练节奏指数平滑下降长期训练任务平滑退火下降大模型训练首选Warmup ⭐初期逐步升高Transformer 必备最佳组合方案工业级训练标准配置。

对比项DropoutBatchNorm主要作用防止过拟合稳定训练、加速收敛是否加速训练❌✅是否正则化✅⚠ 间接常见位置全连接层Conv / Linear 后。

在机器学习和深度学习中，损失函数（Loss Function）用来衡量模型预测结果与真实结果之间的差距。简单来说：模型在训练过程中会不断调整参数，使得损失函数的值尽可能小，这个过程就是我们常说的“模型训练”或“模型优化”。损失函数在模型训练中起着核心作用，主要体现在三个方面：1、衡量模型好坏损失值越大，说明预测结果与真实值差距越大；损失值越小，说明模型预测越准确。2、为模型提供优化方向通过对损失函

策略特点常用场景StepLR固定间隔衰减简单任务 baseline指定节点衰减人工控制训练节奏指数平滑下降长期训练任务平滑退火下降大模型训练首选Warmup ⭐初期逐步升高Transformer 必备最佳组合方案工业级训练标准配置。

策略特点常用场景StepLR固定间隔衰减简单任务 baseline指定节点衰减人工控制训练节奏指数平滑下降长期训练任务平滑退火下降大模型训练首选Warmup ⭐初期逐步升高Transformer 必备最佳组合方案工业级训练标准配置。