本系列所有内容将基于《动手学深度学习》一书（所以在环境准备一节会参考该书来搭建。

我们同样使用 nn.Sequential类用来实现的顺序连接模型，首先放入一个展平层nn.Flatten()，将二维灰度图像降维，原来28*28的二维张量就变成长度为784的一维张量。接下来连接一个线性层，由于输入已经在上一层展平，所以线性层的输入长度为784，又由于我们规定结果分为10个类，所以线性层的输出长度为10。在模型初始化时，这里用了方法 model.apply() ，其会递归地遍历mo

过拟合是深度学习中非常常见的问题，即模型高度拟合训练数据而失去了泛化能力，导致其在测试数据上表现不尽人意。过拟合的主要原因来自于模型复杂度过高与训练数据不足，本章将从3个方面讲解如何尽量避免过拟合。

本章包含两个部分，分别解决数值稳定性问题和分布偏移问题。由于书中这两个部分均为理论没有实验，这里就先只进行简单分析，将两部分内容合并编写。

定义一个函数，返回单层的线性模型。该模型训练时采用均方误差损失。return net定义误差评价函数。由于我们更关心相对误差，所以根据以下公式得到函数# 为了在取对数时进一步稳定该值，将小于1的值设置为1定义训练函数。与前面的SGD优化器不同，这里使用了Adam优化器，主要区别在于它具有自适应功能，对初始学习率不那么敏感。注意，这里训练中用的均方误差作为损失，而评估时用的对数均方误差根作为损失，因

卷积神经网络与多层感知机主要的区别就在于它能够通过卷积操作保留高维张量中特征值之间的位置信息。例如，图像中的一块局部区域如果在多层感知机中会被展平映射到一维张量中相隔较远的多个小段，且区域大小不同多个小段的间隔大小也不一样，如果这块区域包含我们想要的目标也很难被机器学习到。但在卷积神经网络中我们保留了图像的二维结构，采用合适比例将图像中的各个区域进行“浓缩”提取该区域中的特征，这种方式符合人眼识别

下面的代码展示了模型各层具体结构，为了让模型更加通用，书中没有实现最后特制的高斯连接层。

由于数据集还是采用之前的Fashion-MNIST数据集，在模型的输入层通道数从原来的3改为1，且最后一层输出长度从原来的1000修改为10。# 这里使用一个11*11的更大窗口来捕捉对象。# 同时，步幅为4，以减少输出的高度和宽度。# 另外，输出通道的数目远大于LeNet# 减小卷积窗口，使用填充为2来使得输入与输出的高和宽一致，且增大输出通道数# 使用三个连续的卷积层和较小的卷积窗口。# 除了

下述代码实现了VGG块的定义。可以看到，VGG块中可以调节的参数只有卷积层数、输入通道数和输出通道数，其中对于通道数量上的变换是在第一个卷积层完成的。下面定义的超参数用于控制每个VGG块的卷积层数和输出通道数。下面代码利用上述超参数实现了VGG，由于该实现中包含8个卷积层(1+1+2+2+2)和三个全连接层，所以叫做VGG-11。# 卷积层部分# 全连接层部分下面代码展示了每一层的BCHW，由于封

下面的代码定义了一个NIN块，由一个卷积层和两个1*1卷积层(带激活的逐像素全连接层)组成。nn.ReLU(),下面的代码定义了NIN模型结构# 标签类别数是10# 将四维的输出转成二维的输出，其形状为(批量大小,10)下面的代码用于查看模型各层输出结果的形状，与VGG块类似，一个NIN块只展示一个最终输出。