最近课程实验在与同学交流的过程中发现自己的模型训练速度比别人慢很多，而且使用AI Studio的Tesla V100速度与自己笔记本的GTX1050速度差别不大，跑一个ResNet50的epoch要12分钟，最终问题得到了解决。

前言基于对书籍Computer Vision: Models, Learning and Inference第七章的阅读，主要是自己的一些心得体会，读起来确实比较吃力，有些地方理解不够深入还请见谅，如果以后想明白了一些问题可能还会继续完善。本章主读完了感觉要还是机器学习的东西，贝叶斯、MAP、MLE之类的东西，公式基本也都是概率论和优化方面的。显然，虽有的复杂视觉数据都用正态分布来表示是不现实..

U-Net于2015年提出，广泛用于图像分割问题。其初是专门为医学图像分割而设计的。该方法取得了良好的效果，并在以后的许多领域得到了应用。相对于很多其他语义分割网络，其规模较小，所以也可以用于一些实时的任务。

SENet是ImageNet 2017的冠军，全称为Squeeze-and-Excitation Networks。它将注意力机制通过space与channel两个角度进行了进一步的拓展，并结合了一些比较成熟的网路设计思路，最终实现了比较好的效果。

得到更改的准确率模型的设计自然是重要，而使用一些数据处理和训练的技巧也能提高最终模型的训练效果，因此也十分重要。本文基于对一些资料的阅读总结一些模型训练常见的trick，能够更快地拟合以及在一定程度上提升模型效果。

生成式对抗网络的目标是生成高质量且多样性的样本，而一般的loss对其衡量能力有限，也无法像分类问题这种监督学习一样通过准确率等指标衡量。因此需要一些特定的方式对其进行衡量，本文主要介绍场景的几种衡量方式，即IS、FID与JS散度，能够从不同角度对GAN的效果进行衡量。

最近课程实验是使用AlexNet训练CIFAR-10，并在验证集上验证。而AlexNet出现与2012年，模型结构也比较简单，在准确率方面与当今流行的网络肯定没法比，所以想要达到更改的准确率还是需要很多额外的改进。最终从70%左右的准确率提升到了86%，虽然也不是特别高但是有很多可以总结的地方。在整个实验过程中为了提升准确率也做了很多的尝试，各种参数加起来也跑了好几百个Epoch，这里总结了一些小

卷积神经网络的设计自然要考虑到各层之间的顺序。这种“考虑”既有原理性的解释也有经验方面的原因。本文主要介绍一些层常见的位置选择，并对其原因进行分析，从中提取共性有利于其他模型的设计。

模型的泛化能力是其是否能良好地应用的标准，因此如何通过有限的数据训练泛化能力更好的模型也是深度学习研究的重要问题。仅在数据集上高度拟合而无法对之外的数据进行正确的预测显然是不行的。本文将不断总结相关的一些方法。

得到更改的准确率模型的设计自然是重要，而使用一些数据处理和训练的技巧也能提高最终模型的训练效果，因此也十分重要。本文基于对一些资料的阅读总结一些模型训练常见的trick，能够更快地拟合以及在一定程度上提升模型效果。