Batch Normalization的正则化作用源于小批量数据估算均值/方差时引入的噪声，这种噪声迫使网络学习更鲁棒的特征。当增大batch size时，估算更准确导致噪声减少，正则化效果反而减弱。这解释了为何工业界使用超大batch训练时，常需额外引入其他正则化手段来弥补这一损失。文章通过类比人口统计抽样，揭示了BN算法中噪声与泛化能力之间的内在联系，最终形成"小batch→大噪声→

本文深入解析了ResNet（残差网络）的核心思想与创新之处。文章首先指出深度学习领域2015年的关键突破——何恺明提出的ResNet解决了深层网络训练中的退化问题，即层数增加反而导致训练误差上升的反常现象。通过对比普通网络与残差网络的结构差异，文章揭示： 普通深层网络难以学习恒等映射，因为经过多层非线性变换后精确实现f(x)=x几乎不可能； ResNet通过引入跳跃连接（Y=F(x)+x），将恒等

文章摘要： 逻辑回归（Logistic Regression）是深度学习的核心基础，其本质是通过Sigmoid函数将线性得分$z=w^Tx+b$映射为0~1的概率值，解决二分类问题。关键点包括： 直觉：Sigmoid函数（$\sigma(z)=\frac{1}{1+e^{-z}}$）将任意实数平滑转化为概率，如$z\to+\infty$输出1，$z\to0$输出0.5。 数学核心：通过概率输出（如

Adam优化算法是深度学习中广泛使用的优化器，它结合了动量梯度下降和RMSprop的优点，通过自适应调整学习率来提高训练效率。文章从物理角度形象解析了Adam的核心机制：动量项（一阶矩）减少参数更新的震荡，而梯度平方项（二阶矩）根据地形陡峭程度自动调节步长（陡峭时减速，平缓时加速）。PyTorch中只需简单调用optim.Adam即可实现这一复杂过程。尽管Adam通用性强，但某些场景（如CV任务）

摘要： 卷积神经网络（CNN）通过局部感知和参数共享机制，高效解决了传统全连接网络的维度灾难问题。其核心是使用滑动卷积核（如“手电筒”）自动提取图像的层级特征——从边缘到复杂物体结构。数学上通过$\lfloor \frac{n+2p-f}{s} + 1 \rfloor$控制输出尺寸，结合池化层和$1\times1$卷积等变体优化计算。PyTorch实现中，卷积、激活、池化协作完成特征提取。

YOLO（You Only Look Once）是一种革命性的实时目标检测算法，通过将图像划分为网格并让每个网格直接预测物体的类别和位置，实现单次前向传播完成检测，速度远超传统两阶段方法（如R-CNN）。其核心是输出向量$y=[p_c, b_x, b_y, b_h, b_w, c_1, c_2, c_3]$，包含存在概率、边界框坐标和类别概率。YOLO利用卷积网络输出$S×S×8$张量，支持端到端

本文介绍了循环神经网络（RNN）的核心原理与关键特性。RNN通过隐藏状态将当前输入与历史记忆相结合，专门处理具有时序关联的序列数据。其核心公式展现了"时间与记忆"的循环机制：当前时刻的隐藏状态由当前输入和上一时刻记忆共同决定，并通过矩阵融合与激活函数生成新的记忆传递至下一时刻。文章还解析了双向RNN的必要性，指出传统单向RNN无法获取未来上下文信息的问题。最后通过PyTorch代码示例展示了RNN

错误使用∗0.01⟹方差在100层里指数级暴跌⟹深层激活值沦为绝对零度\text{错误使用 } * 0.01 \implies \text{方差在100层里指数级暴跌} \implies \text{深层激活值沦为绝对零度}错误使用∗0.01⟹方差在100层里指数级暴跌⟹深层激活值沦为绝对零度Xavier 初始化 (分子为1)⟹假设数据全通过 (Tanh)⟹面对 ReLU 斩断50%负数的现状无能

训练期随机斩断神经元⟹信号方差与期望值自发布下挫k⟹漏掉缩放导致测试集发生数值断层\text{训练期随机斩断神经元} \implies \text{信号方差与期望值自发布下挫 } (k) \implies \text{漏掉缩放导致测试集发生数值断层}训练期随机斩断神经元⟹信号方差与期望值自发布下挫k⟹漏掉缩放导致测试集发生数值断层在训练期除以keepprob⟹强行将残存信号放大1k倍⟹训练与测试达

线性采样0.00011⟹大数值霸占 90% 空间⟹敏感数量级空间被极度压缩 (不到 1%)⟹搜索彻底瘫痪\text{线性采样 } [0.0001, 1] \implies \text{大数值霸占 90\% 空间} \implies \text{敏感数量级空间被极度压缩 (不到 1\%)} \implies \text{搜索彻底瘫痪}线性采样0.00011⟹大数值霸占90%空间⟹敏感数量级空间被极度