本文介绍了Transformer模型的核心组件及其工作原理。首先阐述了词嵌入技术，将文本分词后映射为向量矩阵（[batch, token数, 词嵌入维度]）。其次讲解位置编码机制，通过不同频率的正弦/余弦函数为词向量注入位置信息。重点剖析了多头注意力机制的计算流程：生成QKV矩阵→计算注意力分数→缩放softmax→加权求和，并详细说明了维度变化过程。特别解释了Decoder中的掩码机制，通过上三

nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),x = torch.flatten(x,1) #前向传播这里注意从卷积到全连接需要展平，不然会出现维度不匹配return x由于mnist数据集一张图片大小只有28 * 28 小到可以直接不用卷积进行展平，所以感觉模型也不用设置得太大，所以我的模型分为3层，第一层两次卷积一层池化

本文实现了一个轻量级CNN模型用于CIFAR-10图像分类任务。通过数据增强技术（随机裁剪、水平翻转、颜色抖动和随机擦除）提升模型泛化能力。网络结构包含3个卷积块（16-32-64通道）和全连接层，每个卷积后使用批归一化。实验结果表明，在batch_size=64、lr=0.001条件下，模型在32个epoch后达到82.92%的测试准确率，其中猫、鸟、狗是最难分类的类别。同时对比了不同超参数组合

nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),nn.ReLU(),x = torch.flatten(x,1) #前向传播这里注意从卷积到全连接需要展平，不然会出现维度不匹配return x由于mnist数据集一张图片大小只有28 * 28 小到可以直接不用卷积进行展平，所以感觉模型也不用设置得太大，所以我的模型分为3层，第一层两次卷积一层池化