八、优化算法：GD、SGD、动量法、AdaGrad、RMSProp、Adam、AMSGrad优化算法是深度学习中的关键环节，我们经常说的炼丹主要指的就是这个环节。1、优化算法是解决什么的？优化算法的种类？我们已经知道，当样本数据正向传播一次，就会得到网络的一次预测，而网络的预测和样本标签又构成了我们的损失loss，我们的目标就是让loss最小化。一般我们都把loss看做上图1的山川。就是这个los

的PyTorch的扩展库，几何深度学习指的是应用于图和其他不规则、非结构化数据的深度学习。是非常随意的，它不像MLP、CNN、RNN、Transformer那样，必须要数据规整、要resize、要截断填补等，图神经网络要求的数据只要有点有边就行，至于几个点几条边都随意。然而在真实世界中，并不是所有的事物都可以用结构化数据来表示，比如社交网络、知识图谱、电商购物、复杂的文件系统、蛋白质相互作用关系、

而Unet在医疗图像分隔领域之所以这么好，我感觉是：我们知道浅层卷积关注的是图像的纹理特征，就是关注的是图像的细节点，而深层卷积则关注的是高层语义信息，就是图像的轮廓等更大感受野的信息。因为通过反卷积得到的更大的尺寸的特征图的边缘，是缺少信息的，毕竟每一次下采样提炼特征的同时，也必然会损失一些边缘特征，而失去的特征并不能从上采样中找回，因此通过特征的拼接，来实现边缘特征的一个找回是非常有意义的。分

同时，上一个卷积层的数据和下一个卷积层的数据之间不是像DNN那样的全链接，而是上一层的部分信息和下一层的部分信息相关，因为下一层的信息是通过卷积核和上一层对应的感受野做点积传递到下一层的一个点上的。或者说，就是下一层的特征图上的某个数字只和它上一层特征图的对应位置的感受野范围内的数字相关，和上一层特征图其他位置的数值无关，所以是局部连接。不管你的图像是几乘几的尺寸、不管你有多少张这样的图像，这些张

而且此后的方案都已经不是一些通用的方法来解决问题了，而是过度使用数据集中的特有特点，来降低错误率，这就相当于针对特定问题而解决问题，而不是找到一些通用方法解决普遍问题了，就是后来的架构可以在imgenet数据集上取得很好的效果，但在其他别的数据集上效果就没这么好了，相当于是进入了过拟合阶段，所以也就没必要继续刷错误率了。所以到这里才开始真正学架构。从上图可以看到，在2012年之前，ILSVRC大赛

因为人类是碳基生物，计算机是硅基生物，而且人类自己都没弄明白自己是怎么通过眼睛看到东西并回应的，而且计算机(摄像头)看到的东西和我们人类不一样啊，摄像头看到的都是数字而已，就是感光传感器根据光线的强弱，通过物理效应得到不同数量的光子，然后把每个像素的光子个数数一数而已。虽说这个bug是有利有弊的，利就是让我分辨的能力更强了，弊是，对于同一个客观存在的、不变的对象，可能不同的人、或者同一个人，在不同

十二、复现SOTA 模型：ResNet大名鼎鼎的残差网络ResNet是深度学习中的一个里程碑式的模型，也深度学习中的一个重要概念，几乎各类视觉任务中都能见到它的身影。不同于前面的经典模型，resnet一个深层网络，它是由来自Microsoft Research的4位学者何凯明、张翔宇、任少卿、孙剑共同提出的，论文是《Deep Residual Learning for Image Recognit

但是实际上googlenet在最后还是加了一个全连接层，但主要目的是为了方便以后如果分类的类别数目变了，大家可以通过微调finetune就可以迁移学习了，这个线性层并不承担传统意义上的全连接层的信息混合和特征间函数关系的学习，仅仅是充当的是一个分类的作用而已。此后的V4更是可以达到3%的错误率。另外，在后来的InceptionV3中，在不改变感受野同时减少参数的情况下，采用1*n和n*1的卷积核并

我们前面学习的模型都是有监督学习，就是模型在训练的时候一定是要有标签的。因为没标签你就没法计算损失，没有损失就没法反向计算梯度，就没法训练模型了，所以一定得要标签才能训练的模型都是有监督学习。比如，生成模型就是一种无监督学习模型，还比如机器学习中的聚类算法、降维算法等也都是无监督学习模型。这个就是聚类算法中的其中一个，感兴趣的可以看看。机器学习算法和深度学习算法是有本质上的不同的，个人认为机器学习

十七、卷积网络可视化至此，不管是分类任务还是检测任务还是生成任务，我们都已经学了各个任务中的经典网络。那为什么这些架构有效呢？其中可视化是最直观的解释，所以本章讲讲可视化。 可视化可以让我们人类直观的看到卷积网络中到底发生了什么：1、神经网络第一层卷积层的卷积核组的可视化：从上图可以看出，不管是简单的alexnet还是复杂的densenet,它的第一层学的模板(卷积核组)都是一些简单的基元，比如点