循环神经网络（Recurrent Neural Network, RNN）具备时序处理能力，可对多时间步序列数据进行迭代处理。其核心特征是：除输入层提供的特征向量外，前一个时间步的隐藏状态会作为当前时间步的输入，因此输入的序列数据需满足特定的时序顺序，以保证模型能捕捉序列中的时序依赖关系。

LeNet-5是由Yann LeCun等人于1989年提出的卷积神经网络（CNN），是最早实现商业化应用的CNN模型之一，核心用于手写数字识别（MNIST数据集），为后续卷积神经网络的发展奠定了基础。

在无法直接从目标分布采样时，通过另一个采样分布的样本，加权修正后估计目标分布下的期望。方案核心操作优点缺点随机采样近似采样K个动作取Q最大实现极简单，无需网络结构设计近似粗糙，高维失效，计算随K线性增长梯度上升对输入动作做梯度上升求argmax比随机采样更精准局部最优，每步多轮迭代耗时，梯度计算开销大NAF 网络解析强制Q为二次型，直接输出μ和Vargmax与max解析可得，训练高效Q表达力受限，

VGGNet是由牛津大学视觉几何组（Visual Geometry Group）于2014年提出的经典卷积神经网络模型。相较于此前占据主导地位的AlexNet，VGGNet通过与，显著加深了网络结构，参数。

GoogLeNet（又名 Inception v1）由 Google 团队于 2014 年提出，在当年的 ImageNet 图像分类竞赛中获得第一名。引入 Inception 模块：通过多尺度卷积核并行提取特征，再在通道维度融合。用全局平均池化替代全连接层：大幅减少参数量，抑制过拟合，并使模型能接受任意尺寸的输入。使用辅助分类器：在网络中间层注入梯度信号，有效缓解深层网络的梯度消失问题。以22 层

残差块的跳跃连接让网络可以容易地学习恒等映射，解决了深度网络中的退化问题，使数百甚至上千层的网络成为可能；批量规范化有效对抗梯度消失、加速收敛，并降低对初始化的敏感性；两者的结合，共同成就了 ResNet 在深度学习和计算机视觉领域的里程碑地位。

标量是仅含单个数值的数学对象，在 PyTorch 中由单元素张量表示，支持基础算术运算。# 定义两个标量张量（单元素张量）# 加法：对应数值直接相加 3.0 + 2.0 = 5.0# 乘法：3.0 * 2.0 = 6.0# 除法：3.0 / 2.0 = 1.5# 幂运算：3.0的2.0次方 = 9.0。

输入信号 x1​,x2​ 会被赋予对应的权重 w1​,w2​（也叫参数），神经元对加权后的输入求和，当求和结果超过某个阈值 θ 时，输出 1（神经元被激活），否则输出 0。和感知机的核心差异：感知机使用阶跃函数（二值离散输出），神经网络使用连续可导的激活函数，支持通过梯度更新参数完成学习。神经网络在感知机的基础上，引入平滑可导的激活函数与多层结构，支持通过梯度法自动学习参数，是深度学习的核心载体。

分子布局又称，是矩阵求导领域的主流约定之一，广泛用于控制理论、经典机器学习公式推导中。

L2 Loss、L1 Loss、Huber Loss 是回归任务的三类经典损失函数，核心差异在于对预测误差的惩罚力度与梯度特性不同，最终在可导性、异常值鲁棒性、收敛速度三个维度形成明确的取舍。L2 Loss误差小时效果较好，误差较大的少量数据会导致训练不稳定，适用于干净数据情况，如经典线性回归、数据噪声极低的回归任务。L1 Loss即使误差较大也能平稳的进行更新，对异常值有较好处理，但在接近最优解