模型的泛化能力是其是否能良好地应用的标准，因此如何通过有限的数据训练泛化能力更好的模型也是深度学习研究的重要问题。仅在数据集上高度拟合而无法对之外的数据进行正确的预测显然是不行的。本文将不断总结相关的一些方法。

卷积神经网络的设计自然要考虑到各层之间的顺序。这种“考虑”既有原理性的解释也有经验方面的原因。本文主要介绍一些层常见的位置选择，并对其原因进行分析，从中提取共性有利于其他模型的设计。

SENet是ImageNet 2017的冠军，全称为Squeeze-and-Excitation Networks。它将注意力机制通过space与channel两个角度进行了进一步的拓展，并结合了一些比较成熟的网路设计思路，最终实现了比较好的效果。

最近课程实验在与同学交流的过程中发现自己的模型训练速度比别人慢很多，而且使用AI Studio的Tesla V100速度与自己笔记本的GTX1050速度差别不大，跑一个ResNet50的epoch要12分钟，最终问题得到了解决。

生成式对抗网络的目标是生成高质量且多样性的样本，而一般的loss对其衡量能力有限，也无法像分类问题这种监督学习一样通过准确率等指标衡量。因此需要一些特定的方式对其进行衡量，本文主要介绍场景的几种衡量方式，即IS、FID与JS散度，能够从不同角度对GAN的效果进行衡量。

前言终于看完了分类模型，其实最初也是冲着后面的应用“语义分析”看的。不过发现有了回归模型的基础，分类模型这一章读起来快了很多，两者交叉的内容还是很多的。不过毕竟是机器学习，基本还是概率论和优化的知识，只是选择了图片作为其应用场景。一、逻辑回归这本书的设计思路还是比较一致的，在一个简单基础的模型上不断扩展，最终得到可以解决实际问题的模型，然后再给出几个应用实例。尽管有些应用已经有了更先进的解决...

最近课程实验是使用AlexNet训练CIFAR-10，并在验证集上验证。而AlexNet出现与2012年，模型结构也比较简单，在准确率方面与当今流行的网络肯定没法比，所以想要达到更改的准确率还是需要很多额外的改进。最终从70%左右的准确率提升到了86%，虽然也不是特别高但是有很多可以总结的地方。在整个实验过程中为了提升准确率也做了很多的尝试，各种参数加起来也跑了好几百个Epoch，这里总结了一些小

一、梯度下降算法（这个图是课件里的，可能对SGD的理解不太一样，其实指的是下面说的小批量梯度下降）三个类型梯度下降具体的公式和推导网上比较多这里就不再赘述了。梯度下降有三种不同的形式，即批量梯度下降、小批量梯度下降随机梯度下降（SGD）。区别主要在于读入的数据数量不同，依次减小。批量梯度下降是对全部数据求导取平均，小批量则是取一部分，一般都是8的幂，而随机梯度下降取的是一个样本，对内存的...

DenseNet发表在2017年的CVPR上，并获得了当时的best paper。ResNet的出现使模型可以变得更深，通过建立前面层与后面层之间的shortcut提高模型的性能。DenseNet将ResNet与跨层连接的思路进一步发挥，它将前面建立的所有层都与后面层的密集连接（Dense Connection）。另外DenseNet通过特征在channel上的连接实现特征重用，最终让DenseN

一、梯度下降算法（这个图是课件里的，可能对SGD的理解不太一样，其实指的是下面说的小批量梯度下降）三个类型梯度下降具体的公式和推导网上比较多这里就不再赘述了。梯度下降有三种不同的形式，即批量梯度下降、小批量梯度下降随机梯度下降（SGD）。区别主要在于读入的数据数量不同，依次减小。批量梯度下降是对全部数据求导取平均，小批量则是取一部分，一般都是8的幂，而随机梯度下降取的是一个样本，对内存的...