model.train() # 切换为训练模式optimizer.zero_grad() # grad属性归零loss=criterion(predicted_label,label) # 计算网络输出和真实值之间的差距，label为真实值loss.backward() # 反向传播torch.nn.utils.clip_grad_norm_(model.parameters(),0.1) # 梯

- **🍨 本文为[]中的学习记录博客**>- **🍖 原作者：[]**本人往期文章可查阅：.txt。

- **🍨 本文为[]中的学习记录博客**>- **🍖 原作者：[]**● 难度：夯实基础● 语言：Python3、TensorFlow2🍺 要求：1. 使用categorical_crossentropy（多分类的对数损失函数）完成本次选题2. 探究不同损失函数的使用场景与代码实现🍻 拔高（可选）：1. 自己搭建VGG-16网络框架2. 调用官方的VGG-16网络框架3. 使用VGG-1

本次项目耗费很长时间在模型调整上，由于初始结果不理想，想到可能是由于卷积核5*5是否过大导致没能捕捉到敏感信息的缘故，将卷积核调整为3*3，但是结果更差，猜测可能是感受野过小不利于特征信息的捕捉，于是又将卷积核重新调整为5*5。同时，优化器修改为Adam。在此过程中，也曾将学习率修改为1e-3，但效果不理想，改回1e-4后结果达到满意状态。

Transformer 网络架构由 Ashish Vaswani 等人在 Attention Is All You Need 一文中提出，并用于机器翻译任务，和以往网络架构有所区别的是，该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖注意力机制的架构。网络架构如下所示：Transformer改进了RNN被人诟病的训练慢的特点，利用self-attention可

除了使用中提供的数据集，我们还可以使用类来自定义自己的数据集。自定义数据集需要实现__len__和方法。__init__：用来初始化数据集__len__：方法返回数据集中样本的数量：给定索引值，返回该索引值对应的数据；它是 python built-in 方法，其主要作用是能让该类可以像list一样通过索引值对数据进行访问。return x,y在这个示例中，MyDataset类继承自类，实现了 _

>- **🍨 本文为[🔗365天深度学习训练营]中的学习记录博客**>- **🍖 原作者：[K同学啊]**🏡 我的环境：论文地址：Conditional Image Synthesis with Auxiliary Classifier GANsACGAN的全称是 Auxiliary Classifier Generative Adversarial Network ，翻译成汉语的意思就是

这里我们定义TextClassificationModel 模型，首先对文本进行嵌入，然后对句子嵌入之后的结果进行均值聚合。vocab_size, # 词典大小embed_dim, # 词典维度sparse=False # 是否使用稀疏梯度（False为不使用）self.embedding.weight.data.uniform_(-initrange,initrange) # 初始化嵌入层的权重

此处定义了一个自定义的批处理函数，用于将数据加载到DataLoader时对文本数据进行填充（padding）和标签处理。这个函数的目的是确保每个批次中的文本数据长度一致，并将标签转换为适合模型输入的格式。: 将批次中的数据解包为文本和标签。: 计算批次中所有文本的最大长度。使用F.pad在文本的右侧填充（padding）零，使其长度与最大长度一致（max_len）。（1）F.pad: 这是 PyT