过河卒（动态规划）

Batch Normalization的正则化作用源于小批量数据估算均值/方差时引入的噪声，这种噪声迫使网络学习更鲁棒的特征。当增大batch size时，估算更准确导致噪声减少，正则化效果反而减弱。这解释了为何工业界使用超大batch训练时，常需额外引入其他正则化手段来弥补这一损失。文章通过类比人口统计抽样，揭示了BN算法中噪声与泛化能力之间的内在联系，最终形成"小batch→大噪声→

本文深入解析了ResNet（残差网络）的核心思想与创新之处。文章首先指出深度学习领域2015年的关键突破——何恺明提出的ResNet解决了深层网络训练中的退化问题，即层数增加反而导致训练误差上升的反常现象。通过对比普通网络与残差网络的结构差异，文章揭示： 普通深层网络难以学习恒等映射，因为经过多层非线性变换后精确实现f(x)=x几乎不可能； ResNet通过引入跳跃连接（Y=F(x)+x），将恒等

文章摘要： 逻辑回归（Logistic Regression）是深度学习的核心基础，其本质是通过Sigmoid函数将线性得分$z=w^Tx+b$映射为0~1的概率值，解决二分类问题。关键点包括： 直觉：Sigmoid函数（$\sigma(z)=\frac{1}{1+e^{-z}}$）将任意实数平滑转化为概率，如$z\to+\infty$输出1，$z\to0$输出0.5。 数学核心：通过概率输出（如

Adam优化算法是深度学习中广泛使用的优化器，它结合了动量梯度下降和RMSprop的优点，通过自适应调整学习率来提高训练效率。文章从物理角度形象解析了Adam的核心机制：动量项（一阶矩）减少参数更新的震荡，而梯度平方项（二阶矩）根据地形陡峭程度自动调节步长（陡峭时减速，平缓时加速）。PyTorch中只需简单调用optim.Adam即可实现这一复杂过程。尽管Adam通用性强，但某些场景（如CV任务）

摘要： 卷积神经网络（CNN）通过局部感知和参数共享机制，高效解决了传统全连接网络的维度灾难问题。其核心是使用滑动卷积核（如“手电筒”）自动提取图像的层级特征——从边缘到复杂物体结构。数学上通过$\lfloor \frac{n+2p-f}{s} + 1 \rfloor$控制输出尺寸，结合池化层和$1\times1$卷积等变体优化计算。PyTorch实现中，卷积、激活、池化协作完成特征提取。

YOLO（You Only Look Once）是一种革命性的实时目标检测算法，通过将图像划分为网格并让每个网格直接预测物体的类别和位置，实现单次前向传播完成检测，速度远超传统两阶段方法（如R-CNN）。其核心是输出向量$y=[p_c, b_x, b_y, b_h, b_w, c_1, c_2, c_3]$，包含存在概率、边界框坐标和类别概率。YOLO利用卷积网络输出$S×S×8$张量，支持端到端

本文介绍了循环神经网络（RNN）的核心原理与关键特性。RNN通过隐藏状态将当前输入与历史记忆相结合，专门处理具有时序关联的序列数据。其核心公式展现了"时间与记忆"的循环机制：当前时刻的隐藏状态由当前输入和上一时刻记忆共同决定，并通过矩阵融合与激活函数生成新的记忆传递至下一时刻。文章还解析了双向RNN的必要性，指出传统单向RNN无法获取未来上下文信息的问题。最后通过PyTorch代码示例展示了RNN

摘要： LSTM和GRU通过门控机制（遗忘门、更新门）解决了RNN的长期依赖问题。LSTM引入细胞状态$c^{\langle t \rangle}$作为独立记忆通道，通过$\Gamma_f$（遗忘门）过滤无效信息，$\Gamma_u$（更新门）注入新知识，利用加法更新避免梯度消失。GRU进一步简化结构，合并门控与状态，提升计算效率。二者均适用于语音识别、机器翻译等长序列任务，但面对超长文本时仍受限

多头注意力机制。语言是极其复杂的。当我们看到一句话里的某个词时，我们往往需要同时关注很多不同的维度。比如看这句话：“那只巨大的猫懒洋洋地躺在垫子上，它刚刚吃了鱼。当我们盯着“猫”我们的左眼可能需要关注它的修饰语（什么猫？——巨大的猫）；我们的右眼可能需要追踪它的代词指代（谁吃了鱼？——“它”指的是猫）。如果我们只有“一双眼睛”（单头注意力机制），网络在同一时间只能计算出一组α\alphaα。它如果