Softmax 函数是一种归一化函数，能够将一个实数向量映射为一个概率分布。它的输出是一个向量，所有元素非负，且总和为 1。设=[,…,]是长度为的向量，Softmax 函数的输出定义为：特点：所有输出∈(0,1)，可解释为概率分布Softmax是处理多分类问题的核心函数；它将模型输出转换为概率，便于分类决策；推荐搭配交叉熵损失函数使用，优化分类准确率；实际实现中应考虑数值稳定性。

Softmax 函数是一种归一化函数，能够将一个实数向量映射为一个概率分布。它的输出是一个向量，所有元素非负，且总和为 1。设=[,…,]是长度为的向量，Softmax 函数的输出定义为：特点：所有输出∈(0,1)，可解释为概率分布Softmax是处理多分类问题的核心函数；它将模型输出转换为概率，便于分类决策；推荐搭配交叉熵损失函数使用，优化分类准确率；实际实现中应考虑数值稳定性。

全连接神经网络（Multi-Layer Perceptron, MLP）是一种典型的前馈神经网络，属于深度学习的基础结构。MLP指至少有一层隐藏层的感知机网络DNN（Deep Neural Network）是 MLP 的扩展版本，层数更多核心特点：神经元之间层与层全连接通过非线性激活函数提升表达能力使用反向传播（Backpropagation）训练✅ 优点：表达能力强，能拟合复杂非线性关系通用性强

RNN 是处理序列数据的经典模型，能够记忆上下文信息。数学本质：通过递归公式进行时序建模。存在梯度消失问题，通常使用 LSTM 和 GRU 改进。应用广泛，尤其在 NLP、语音识别、时间序列预测领域%24t%24%24t-1%24%24h_t%24%24x_t%24%24T%24。

卷积神经网络（Convolutional Neural Network, CNN）是一种专为处理具有网格结构数据（如图像）而设计的神经网络。最早用于手写数字识别（LeNet-5）在图像分类、目标检测、语音识别等领域广泛应用核心思想：用卷积核（滤波器）提取局部特征共享权重减少参数量层叠结构逐步提取从低级到高级的特征✅ 优点：参数共享，减少计算量局部感受野，捕捉空间特征适合高维数据（图像、视频、语音）

全连接神经网络（Multi-Layer Perceptron, MLP）是一种典型的前馈神经网络，属于深度学习的基础结构。MLP指至少有一层隐藏层的感知机网络DNN（Deep Neural Network）是 MLP 的扩展版本，层数更多核心特点：神经元之间层与层全连接通过非线性激活函数提升表达能力使用反向传播（Backpropagation）训练✅ 优点：表达能力强，能拟合复杂非线性关系通用性强

RNN 是处理序列数据的经典模型，能够记忆上下文信息。数学本质：通过递归公式进行时序建模。存在梯度消失问题，通常使用 LSTM 和 GRU 改进。应用广泛，尤其在 NLP、语音识别、时间序列预测领域%24t%24%24t-1%24%24h_t%24%24x_t%24%24T%24。

卷积神经网络（Convolutional Neural Network, CNN）是一种专为处理具有网格结构数据（如图像）而设计的神经网络。最早用于手写数字识别（LeNet-5）在图像分类、目标检测、语音识别等领域广泛应用核心思想：用卷积核（滤波器）提取局部特征共享权重减少参数量层叠结构逐步提取从低级到高级的特征✅ 优点：参数共享，减少计算量局部感受野，捕捉空间特征适合高维数据（图像、视频、语音）