神经网络的训练主要使用反向传播算法，模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程，大大降低了框架的使用门槛。通常我们会将函数的lo

在实际应用场景中，由于训练数据集不足，所以很少有人会从头开始训练整个网络。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。开始训练模型，与没有预训练模型相比，将节约一大半时间，因为此时可以不用计算部分梯度。文件对对验证集的狼和狗图像数据进行预测。使用固定特征进行训练的时候，需要冻结除最后一层之外的所有网络层

个词，并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积。采样池可以根据下一个词的概率分布动态增加和减少。增加高概率单词的似然并降低低概率单词的似然。都简单地选择概率最高的词作为当前输出词。在分布比较平坦的时候限制模型的创造力。个词，重新归一化，最后在归一化后的。的最小单词集中进行采样，重新归一化。在分布比较尖锐的时候产

在保持不低的准确率的前提下，将参数量几乎降低到了最小，因此其运算速度较快，单位参数量对模型准确率的贡献非常高。（分组卷积）原理如下图所示，相比于普通的卷积操作，分组卷积的情况下，每一组的卷积核大小为。等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。这些操作都是可微分可导的且计算简单，在解决了信息交互的同时符合了。单元进行改进，在较小的计算量的情况下达到了较高的

如果将Diffusion与其他生成模型（如Normalizing Flows、GAN或VAE）进行比较，它并没有那么复杂，它们都将噪声从一些简单分布转换为数据样本，Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。我们选择的固定（或预定义）正向扩散过程 q𝑞 ：它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声一个学习的反向去噪的扩散过程 pθ𝑝𝜃 ：通过训

网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。数据集上的训练误差与测试误差图如下图所示，图中虚线表示训练误差，实线表示测试误差。个分类，在使用该数据集进行训练时，需要将加载好预训练权重的模型全连接层输出大小重置为。层网络训练误差和测试误差更大，随着网络的加深，其误差并没有如预想的一样减小。：下载对应的训练模型，并加载预训练模型中

循环损失捕捉了这样的直觉，即如果我们从一个域转换到另一个域，然后再转换回来，我们应该到达我们开始的地方。详细的训练过程见下文代码。单独的对抗损失不能保证所学函数可以将单个输入映射到期望的输出，为了进一步减少可能的映射函数的空间，学习到的映射函数应该是周期一致的，例如对于。模型最终能够输出两个模型的权重，分别将两种图像的风格进行彼此迁移，生成新的图像。训练判别器：训练判别器的目的是最大程度地提高判别

论文提到，使用卷积而不是通过池化来进行下采样是一个好方法，因为它可以让网络学习自己的池化特征。本教程将使用动漫头像数据集来训练一个生成式对抗网络，接着使用该网络生成动漫头像图片。在这两个部分中，分别获取训练过程中的损失，并在每个周期结束时进行统计，将。是一个二分类网络模型，输出判定该图像为真实图的概率。的方法，是希望通过提高其随机梯度来更新判别器，所以我们要最大化。的图像，输出是该图像为真图像的概

除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看，它们是影响模型性能收敛最重要的参数。batch size过大，不同batch的梯度方向没有任何变化，容易陷入局部极小值，因此需要选择合适的batch size，可以有效提高模型精度、全局收敛。）：如果学习率偏小，会导致收敛的速度变慢，如果学习率偏大，则可能会导致训练不收敛等不可预测的结果。超参（Hyperparameters）是可以

在卷积过程的卷积操作和池化操作会使得特征图的尺寸变小，为得到原图的大小的稠密图像预测，需要对得到的特征图进行上采样操作。与普通的分类任务只输出某个类别不同，语义分割任务输出与输入大小相同的图像，输出图像的每个像素对应了输入图像每个像素的类别。有两大明显的优点：一是可以接受任意大小的输入图像，无需要求所有的训练图像和测试图像具有固定的尺寸。忽略了在通常的基于像素分类的分割方法中使用的空间规整（倍的效