简介：在深度学习和自然语言处理领域，文本分类是入门实践与课程设计的高频任务。从神经网络的基础架构出发，CNN通过卷积核提取局部n-gram特征，GRU利用门控机制建模序列依赖，而Transformer凭借自注意力机制实现全局交互建模，三者分别代表了特征工程、循环网络与注意力范式的技术演进。理解这些模型的原理差异，不仅有助于完成情感分析等典型NLP应用，也能为设计对比实验、撰写课程报告和应对面试中的原理追问打下扎实基础。围绕这一主线，一份涵盖CNN、GRU与Transformer完整源码、预处理管道、超参数配置和实验对比模板的深度学习课程设计资料包，能够帮助本科生和初学者快速搭建可复现的完整项目，在动手实践中掌握从经典模型到现代架构的迁移脉络，提升课设质量与项目含金量。 每年到了深度学习课程设计的时间点，总有一批人工智能专业的本科生被各种模型架构折腾得焦头烂额。我在北邮做《神经网络与深度学习》课设时，也是从照搬CNN代码开始，一步步把GRU调通，再啃下Transformer，最后攒出一套能跑、能复现、能写进简历的完整项目。这份BUPT神经网络与深度学习课程设计资料包，包含从基础CNN+GRU模型到Transformer架构的完整源码、数据集和文档模板，正好覆盖了深度学习课程设计最常见的模型演进路线，适合正在赶课设的本科生、准备保研竞赛项目的同学，以及想通过动手项目理解深度学习核心原理的初学者参考。

1. 课程设计的整体思路与模型选型

1.1 为什么用文本分类作为主线任务

很多人做深度学习课设，一上来就盯着图像分类或目标检测，但实际写下来会发现摄像头、服务器、标注数据都容易出问题。这份课设资料选择了一条更稳的路线：以中文文本情感分类作为主线任务，让CNN、GRU、Transformer三个模型在同一份数据、同一个评估标准下做横向对比。

文本分类这个任务有三个天然优势。第一，数据获取成本极低，爬一些公开的评论数据或者直接使用开源的酒店、电商评论集，几百MB文本就够用了，不需要像图像任务那样担心标注质量。第二，评估标准清晰，准确率、F1值一目了然，老师一看就知道你的模型有没有真正work。第三，从CNN到GRU再到Transformer的演进逻辑在NLP任务上体现得最直观，TextCNN捕捉局部n-gram特征，GRU建模序列依赖，Transformer通过自注意力做全局建模，三者的差异恰好构成了课程设计报告里最核心的分析章节。

文本分类还有一个容易被忽视的好处：它对硬件要求宽容。CNN、GRU在CPU上也能跑，Transformer在小规模数据上可以用很小的hidden size训练，不需要碰GPU也能交出完整结果。这对于课设周期短、实验室排队等卡的同学来说，非常重要。

1.2 CNN+GRU模型的组合逻辑

基础阶段的模型设计是CNN和GRU的组合，这个组合看起来简单，背后是有明确分工的。CNN在文本任务里做的事情可以理解为一个n-gram特征提取器，卷积核在词向量序列上滑动，每次覆盖相邻的几个词，相当于把"这部电影真好看"这样的局部短语编码成特征。不同尺寸的卷积核并行工作，就模仿了多尺度n-gram特征的获取过程。

GRU的定位则完全不同，它处理的是序列依赖。一句话里可能有20个词，第1个词和第18个词之间的逻辑关系，CNN靠卷积核很难直接建模，因为卷积核的感受野有限。GRU通过隐藏状态一步一步往下传，理论上能把整个句子的信息压缩进最后一个隐藏状态里。把CNN的输出序列喂给GRU，相当于先用卷积做局部特征增强，再用循环网络做全局信息聚合，特征质量和时序建模能力互补。

1.3 Transformer为什么值得作为进阶目标

课程设计的进阶部分直接上Transformer架构，这几乎是现在高校深度学习课设的标配了。Transformer的核心贡献是把序列建模从"逐步传递"变成了"两两交互"，自注意力机制让每个位置都能直接看到序列中的所有其他位置。这种全局建模能力在长文本、长距离依赖问题上表现突出，也是后来GPT、BERT等预训练模型的基础架构。

用Transformer做课设进阶目标，还有一个很实际的原因：它能让你的项目在答辩时拉开档次。CNN+GRU组合属于经典基线，很多同学都这么做。但能自己动手实现一个简化版Transformer、讲清楚多头注意力和位置编码的原理、用学习率预热策略把训练稳定住，这背后体现的是对现代深度学习核心技术的真实掌握程度。课程设计报告里有一章"从RNN到Attention的范式转变"，一段话就能让老师看到你确实理解了深度学习的演进脉络。

1.4 课程设计的工作量拆解与评分点

深度学习的课设评分，老师最看重的几个点分别是：工作量是否饱满、实验对比是否有说服力、代码能否复现、报告格式是否规范。这份资料的工作量分配思路是3-3-4：三成时间做CNN+GRU基线，三成时间做Transformer进阶，四成时间花在做对比实验、画图和写报告上。

很多同学栽在最后这四成上。模型很快跑通了，但报告里只有准确率数字，没有损失曲线、没有混淆矩阵、没有消融实验，答辩时一问细节就卡壳。好的课设项目应该是"一套代码、多个模型、若干实验、一份完整报告"的结构，而不是单一模型的调参记录。这也是我在整理这份资料时特别强调实验部分的原因。

2. 核心细节解析：CNN和GRU的实操要点

2.1 CNN的卷积核设计与维度计算

文本CNN和图像CNN最直观的区别是卷积的维度。图像是三维张量（通道、高度、宽度），文本通常只用一维卷积。PyTorch里对应的是 nn.Conv1d ，它的输入形状是 (batch, in_channels, seq_len) 。在文本任务中， in_channels 通常等于词向量的维度， seq_len 是句子的长度。

卷积核尺寸的选择是文本CNN的一个关键设计点。常见做法是同时使用多个不同大小的kernel，比如 [2, 3, 4] 或 [3, 4, 5] 。每一个kernel size对应一种n-gram感受野，kernel size为3表示卷积核每次覆盖3个连续词的向量。假设 embedding_dim=128 ， seq_len=64 ， kernel_size=3 ， num_filters=100 ，输出序列长度计算公式是：

output_length = seq_len - kernel_size + 1 = 64 - 3 + 1 = 62

每个kernel size都会产出一个 (batch, 100, 62) 的特征图。三个kernel size并行，最后把三个分支的特征拼接在一起，就得到了 (batch, 300, 62) 的完整特征表示。

2.2 池化操作怎么选

池化层在CNN里的作用是把变长的序列特征压缩成固定长度的向量，同时保留最显著的特征。文本CNN最常用的池化是 1-MaxPooling ，也就是在序列维度上取最大值。一个kernel size对应100个filter，每个filter在62个位置上抽取一个最大值，最终得到100维的向量。三个kernel size合并后得到300维的向量，这个向量就是CNN提取到的句子特征。

我在课设里试过用平均池化替代最大池化，效果会差一些。原因在于文本分类任务中，往往只有少数几个关键词对分类结果起决定性作用，最大池化相当于在说"这个window里我只关心最强烈的那个特征"。平均池化会把所有位置的特征都掺和在一起，反而稀释了关键信号。但如果做的是文档主题分类，平均池化有时会比最大池化稳定，因为主题特征往往是全局分布的。结论是：任务不一样，池化策略要跟着调。

2.3 GRU的门控机制与输出处理

GRU是LSTM的轻量版，核心在于两个门：更新门和重置门。更新门决定上一时刻的隐藏状态有多少信息带进当前时刻，重置门决定当前输入与历史信息的融合方式。相比LSTM的三个门，GRU的参数量更少，在小数据集上更不容易过拟合，训练速度也更快。

在CNN+GRU的结构里，GRU接收CNN输出的特征序列，然后逐时间步更新隐藏状态。这里有一个容易踩坑的细节：GRU的输入序列长度是CNN池化前的长度，而不是池化后的长度。如果你想先池化再进GRU，实际上池化后序列维度已经没了，这就变成了"CNN+GRU"的另一种结构，需要重新设计。我建议的做法是：CNN卷积后不做全局池化，保留序列维度，让GRU自己决定关注哪些时间步的信息，最后取GRU最后一个时间步的隐藏状态（或者对所有时间步做mean pooling）接全连接层输出分类概率。

如果你想进一步压缩参数量，可以让CNN和GRU并行工作：CNN分支直接池化得到局部特征，GRU分支独立处理原始词向量序列得到序列特征，最后把两个分支的特征拼接起来过分类器。这种结构在消融实验里可以作为"模型设计对比"的一个点写进报告。

2.4 基础模型训练策略与超参数

CNN和GRU对训练策略的要求相对宽松，但仍然有些经验参数值得记录。优化器用Adam，学习率设置在 1e-3 到 3e-3 之间，batch size为64或128，epoch数设置20到30轮，配合early stopping。文本分类的embedding层可以在训练中继续更新，如果你的任务数据量足够，随机初始化加训练更新比冻结预训练向量效果更好。

一个容易被忽视的训练技巧是梯度裁剪。GRU在反向传播时容易出现梯度爆炸，特别是在序列较长、层数较多的情况下。我建议在训练循环里加上 clip_grad_norm_(model.parameters(), max_norm=5.0) ，这个小操作往往能让损失曲线从"锯齿状震荡"变成"平滑下降"。

过拟合在CNN+GRU模型上也很常见，特别是训练集只有几万条数据时。Dropout是这里最有效的武器，我一般在embedding层、GRU的输出层、全连接层前面各加一层dropout，比例设为 0.3~0.5 。如果过拟合实在严重，优先考虑调大dropout，而不是急着增加训练数据。数据增强在文本分类里也有简单做法，比如同义词替换、随机删除，但课设阶段不建议花太多时间在这上面，把报告写得清楚更重要。

3. Transformer架构的实现与调试

3.1 自注意力机制的核心计算过程

Transformer的进阶实现从自注意力开始。自注意力的目的是让序列中每个词都和其他词计算相关性，得到一个加权求和的特征表示。计算过程用代码表达只有两步：把输入映射成Q、K、V三个矩阵，然后做缩放点积注意力。

import torch
import torch.nn as nn
import torch.nn.functional as F

def scaled_dot_product_attention(Q, K, V, mask=None):
    d_k = Q.size(-1)
    scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32))
    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)
    attn_weights = F.softmax(scores, dim=-1)
    output = torch.matmul(attn_weights, V)
    return output

这里有一个关键的缩放因子 1 / sqrt(d_k) 。为什么需要缩放？当 d_k 很大时，Q和K的点积结果数值范围会变大，进入softmax函数的饱和区，导致梯度变得非常小，模型训练不动。除以 sqrt(d_k) 之后，点积结果的方差被拉回来，softmax的梯度就不会轻易消失。这个细节在面试和答辩中经常被问到，需要理解它而不只是会写代码。

3.2 位置编码的实现方式

自注意力本身是不区分位置顺序的，它把序列当成一个集合来处理。如果不加位置信息，模型看到"我打你"和"你打我"会得到完全相同的表示，这在文本任务里是致命的。Transformer通过加入位置编码来解决这个问题，把每个词的位置信息加到词向量上。

位置编码有两种主流写法：正弦位置编码和可学习位置编码。原版Transformer使用正弦位置编码，公式为：

PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

这个设计的精妙之处在于，不同频率的正弦波组合让模型既能区分不同位置，又可能通过三角恒等式学习到相对位置关系。如果你用PyTorch实现TransformerEncoder，可以选 nn.TransformerEncoderLayer ，它会自动处理位置编码和后续的模块，但如果你自己写Transformer层，一定不要漏掉位置编码这一步。

我在课设里其实更推荐使用可学习位置编码，因为在小数据集上，可学习的嵌入向量有更大的自由度，比固定公式更容易拟合。特别是当数据规模不大时，正弦位置编码的归纳偏置优势并不明显，可学习编码反而能涨1到2个点的准确率。当然，如果你想在报告里"炫技"，把两种编码都实现一遍并做一个对比实验，会让工作量的含金量大幅提升。

3.3 多头注意力与前馈网络的配合

多头注意力是Transformer的另一个核心设计。它的思路是把Q、K、V分别投影到多个低维子空间中，每个头独立计算注意力，最后把多个头的输出拼接起来。这样做的好处是允许模型同时关注不同位置的不同语义关系，一个头可能关注语法上的相邻词，另一个头可能关注远距离的指代关系。

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, n_heads, dropout=0.1):
        super().__init__()
        assert d_model % n_heads == 0
        self.d_k = d_model // n_heads
        self.n_heads = n_heads
        self.W_q = nn.Linear(d_model, d_model)
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        self.W_o = nn.Linear(d_model, d_model)
        self.dropout = nn.Dropout(dropout)

    def forward(self, x, mask=None):
        batch_size, seq_len, _ = x.size()
        Q = self.W_q(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2)
        K = self.W_k(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2)
        V = self.W_v(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2)
        attn_output, _ = scaled_dot_product_attention(Q, K, V, mask)
        attn_output = attn_output.transpose(1, 2).contiguous().view(batch_size, seq_len, -1)
        return self.W_o(attn_output)

注意力层后面接的是前馈网络，也就是两个全连接层加一个ReLU激活函数，中间层的维度通常是 d_model * 4 。前馈网络的作用是对每个位置的注意力输出做非线性变换，提升模型的表达能力。在每个子层外面都加上残差连接和Layer Normalization，结构变为 LayerNorm(x + Sublayer(x)) ，这就是Transformer能训练到很深层的稳定性保障。

课程设计用的文本分类任务是句子级别的，不需要Decoder部分，只用Encoder堆几层就够了，通常设置 num_encoder_layers=4 到 6 ， d_model=128 到 256 ， n_heads=4 到 8 。

3.4 训练Transformer容易踩的坑

Transformer训练起来比CNN和GRU娇气得多，最典型的问题就是训练不稳定。学习率稍微设大一点，loss就直接变成NaN，这是因为Transformer在初始化阶段非常敏感，注意力矩阵的梯度容易爆炸。解决办法是使用学习率预热策略：前几千步让学习率线性增加到峰值，之后按步数的平方根倒数衰减。Noam调度器是Transformer论文里的标准配置，但课设也可以简化成"前5个epoch用较小学习率，再切换到正常学习率"。

另一个常见问题是过拟合。Transformer参数量大，在小数据集上很容易把训练集背下来，但验证集指标上不去。我的经验是：把dropout从默认的0.1增加到0.3，同时给embedding层和注意力权重加一点L2正则化。如果你用的是预训练的词向量，可以考虑在训练中冻结，只训练Transformer本身的参数，这也能减少过拟合。

还有一个经常被忽略的点：序列长度。Transformer的注意力复杂度是 O(n^2) ，序列长度翻倍，计算量和显存占用会翻4倍。课设数据集的句子如果平均长度是20到60个词，直接截断到64个词就足够了，不要图省事把所有句子都塞进模型。设置一个 max_len 并做padding到固定长度，既控制了显存开销，又避免了padding带来的无效计算。

4. 源码组织、数据集准备与完整实验流程

4.1 项目目录结构设计

一个能被他人复现的深度学习项目，目录结构一定要清晰。这套课程设计的源码组织方式如下：

project_root/
├── README.md
├── requirements.txt
├── data/
│   ├── raw/                  # 原始数据
│   ├── processed/            # 预处理后的数据
│   └── vocab.json            # 词表
├── src/
│   ├── models/
│   │   ├── text_cnn.py       # CNN模型
│   │   ├── cnn_gru.py        # CNN+GRU模型
│   │   └── transformer_cls.py # Transformer分类模型
│   ├── data/
│   │   ├── dataset.py        # 数据加载与预处理
│   │   └── dataloader.py     # DataLoader封装
│   ├── train.py              # 训练脚本
│   ├── evaluate.py           # 评估脚本
│   └── utils.py              # 工具函数
├── checkpoints/              # 模型保存
├── logs/                     # Tensorboard日志
└── docs/
    ├── report.md             # 课程设计报告
    └── slides.md             # 答辩PPT大纲

这样的结构清晰把数据、模型、训练脚本、文档分离开，每一个文件职责单一。答辩的时候，老师如果现场要求看某一部分代码，你能快速定位到对应文件，这本身就代表了项目规范性的加分项。

4.2 数据集的获取与预处理管道

数据集方面，课程设计资料包内提供了整理好的中文评论数据集，包含训练集、验证集、测试集三个部分。如果你自己找数据，常见的来源是电商评论、酒店评论、微博短文本等，格式统一为"文本 + 标签"两列。

预处理管线需要做这几件事：中文分词、构建词表、长短不一的句子处理成定长序列、划分数据集。中文分词需要注意，如果你没有用分词工具，直接用字的粒度做切分也是一种常见做法，字级别的优点是词表小、覆盖率高、不会出现未登录词问题。词表构建时，保留出现频率最高的前 50000 个词，其余都映射到 <UNK> 标记，同时加上 <PAD> 和 <CLS> 特殊标记。

import json
from collections import Counter

def build_vocab(texts, vocab_size=50000):
    counter = Counter()
    for text in texts:
        counter.update(list(text))
    most_common = counter.most_common(vocab_size - 3)
    vocab = {'<PAD>': 0, '<UNK>': 1, '<CLS>': 2}
    for idx, (word, _) in enumerate(most_common, start=3):
        vocab[word] = idx
    return vocab

# 使用示例
# vocab = build_vocab(train_texts)
# token_ids = [vocab.get(char, vocab['<UNK>']) for char in text]

一个比较隐蔽的问题在DataLoader阶段。不同句子的长度不同，如果你用 collate_fn 做动态padding，要把同一batch内的句子pad到当前batch的最大长度，而不是全局最大长度。这样能减少无效计算，提升训练速度。长度超过 max_len 的句子直接截断，不用做其他复杂处理。

4.3 超参数配置建议

课设中的三种模型超参数配置差异很大，我整理了一份可以直接抄的配置表：

参数	TextCNN	CNN+GRU	Transformer
embedding_dim	128	128	128
kernel_size	[2, 3, 4]	[3, 4]	-
num_filters	100	100	-
hidden_size	-	128	128
n_heads	-	-	4
num_layers	1	1	4
dropout	0.5	0.5	0.3
learning_rate	1e-3	1e-3	5e-4（预热）
batch_size	128	128	64
max_len	64	64	64
epochs	20	20	30

注意Transformer的学习率应该比CNN和GRU低一个量级，并配合预热策略，否则训练很容易发散。batch size在Transformer上设小一些，因为注意力矩阵的显存开销比较大，实测 batch_size=64 通常已经足够，再大可能爆显存，且对最终指标帮助有限。

4.4 实验对比与可视化分析

完整实验部分需要覆盖三块内容：各模型在测试集上的准确率和F1值对比、训练过程的损失曲线和准确率曲线、错误样本的可视化分析。我第一次做的时候，只是把每个模型的准确率写在一个表格里，后来发现这种报告在老师眼里就是"流水账"，没有任何分析价值。

一个更好的做法是：除了整体指标，再按类别拆开看。比如情感分类有正面、负面、中性三个类别，每个模型在不同类别上的表现差异非常大。TextCNN可能对正面文本识别率高但负面文本识别率低，Transformer则相对均衡。这种维度拆解能引出更有深度的结论，比如"局部特征对正面情感更敏感""全局依赖有助于识别语气复杂的负面表达"。答辩时能讲出这层分析，和只报一个准确率数字，差距是很明显的。

另一个加分的点是消融实验。在CNN+GRU模型上做两个变体：一个移除GRU只剩CNN，一个移除CNN只剩GRU，对比三者指标。这样就能量化每个模块的贡献，报告里顺便出一张"模块贡献分析"表格，直接增加了课设的技术含量和可信度。

5. 常见问题与排查技巧实录

5.1 训练过程中的高频问题速查表

整个课设过程中，我记录了最典型的几个问题，如果你在复现时遇到了，可以直接对照排查：

现象	可能原因	解决方案
损失不下降	学习率过大或过小	先试1e-3，观察前50步loss变化
训练早期出现NaN	Transformer学习率过大	启用预热策略，降低learning_rate
验证集准确率远低于训练集	过拟合	增加dropout，减小模型容量
CNN输出维度对不上GRU输入	卷积后序列长度计算错误	用公式 seq_len - kernel_size + 1 重算
GRU梯度爆炸	梯度范数过大	加入梯度裁剪，max_norm设5.0
显存不足	序列过长或batch过大	截断max_len，减小batch_size
Transformer训练极慢	没有用GPU/序列过长	降低max_len，开启cudnn.benchmark
预测结果全是同一个类别	类别不均衡	使用加权损失函数，或做类别重采样

5.2 调试模型时的三个独家心得

第一，调试深度学习模型时，先用极小的数据子集跑通整个流程。比如只用100条数据训练5个epoch，如果loss能明显下降，说明数据管线和模型前向传播没有bug，再换成全量数据。这个方法能在几分钟内定位到80%的问题，而不是等训练跑了半小时才发现代码写错了。

第二，CNN和GRU在调试时先别急着追求最高准确率，优先确认loss曲线的形状。正常训练下loss应该先快速下降，再进入缓慢下降区间。如果loss在某个平台期后还有很大下降空间，说明模型欠拟合，可以考虑增大模型容量；如果loss下降很快但验证集指标没有同步提升，大概率已经过拟合了，需要马上加正则化。

第三，Transformer在课设数据上很容易出现过拟合，因为参数量大、数据量小。我在做完对比实验后，果断把Transformer的dropout从0.1提到0.3，同时把 d_model 从256降到128，验证集F1分数反而涨了2到3个点。这个经验是：不要觉得模型越大越好，时刻关注验证集和你真正要优化的那个指标，而不是训练集上的loss。

5.3 答辩前一定要检查的细节

课程设计答辩最怕的不是模型分数低，而是现场演示时程序崩溃，或者老师问一个基础细节答不上来。根据我的经验，答辩前至少做三次演练：第一次检查代码能否从头跑通，第二次检查每个模型能否正常加载并完成预测，第三次检查报告里的每个数字能否从代码的输出复现出来。

常见的一个翻车场景是：报告里写的准确率是 0.854 ，但老师现场随便拿一条新数据测试，因为预处理管道不一致（比如没走同样的分词和padding逻辑），模型给出的结果完全不对。避免这个问题只有一个办法：预测脚本和训练脚本必须共用同一个 preprocess 函数，绝对不要在两处各写一份预处理代码。

另外，一定要能回答"为什么选择这个模型/这个超参数"。老师问到这个问题时，最差的回答是"别人都这么设"。更好的回答是：我做过一个小实验，对比了不同kernel_size或不同学习率的效果，发现某个设置在验证集上表现最好。哪怕这个实验很小，也会让老师认为你有自己的判断，而不是只会跑通代码。

6. 从课程设计到求职面试的扩展价值

这套资料整理完之后，我最大的体会是：它不仅仅是拿一个课设分数，更是一个可以反复拿出来讲的完整项目。面试时被问到"你做过什么深度学习项目"，很多同学只能报出"我做过图像分类"这种一句话描述，但如果能拿出这份资料说：我从零实现过CNN、GRU、Transformer三个模型，在同一任务上做了对比实验，还做了消融分析，理解它们的原理差异和训练技巧，这个项目的说服力就完全不一样。

从课设到面试，有一个小技巧值得分享：模型代码不要全部直接套用 nn.TransformerEncoderLayer ，至少自己动手写一遍 MultiHeadAttention 的矩阵计算。写一遍和调一遍库，其对原理的理解深度是完全不同的。面试官很可能会追问"为什么self-attention需要除以√d_k"或者"位置编码你是怎么加的"，如果这些细节你都真正实践过，回答起来会比背八股文自然得多。

后续想继续扩展，可以在现有代码基础上尝试这几个方向：把分类模型升级为句子对匹配任务，把Transformer换成带预训练权重的BERT做对比，或者把模型部署成一个简单的Web服务。这些方向都能让同一个课设项目延展出更多可能性，无论是继续深造还是找工作，都会从中受益。

本文还有配套的精品资源，点击获取