神经网络(Neural Network --nn)可以使用torch.nn包来构建神经网络。之前已经介绍了autograd包，nn包则依赖于autograd包来定义模型并对它们求导。nn.Module包含层，以及返回output的方法forward(input)。例如：一个数图像识别这是一个简单的前馈神经网络(feed-forward network)。它接受一个输入，然后将它送入下一层，一层接一

线性模型文章目录线性模型1.深度学习介绍1.1 监督学习和无监督学习1.2 线性回归（Linear Regreesion）1.深度学习介绍1.1 监督学习和无监督学习监督学习、无监督学习、半监督学习、强化学习是我们日常接触到的常见的四个机器学习方法：监督学习：通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再

Pytorch 自动求导机制文章目录Pytorch 自动求导机制1. 简单的自动求导（输出是1维）2. 多维数组的自动求导（输出是多维）3. 多次自动求导自动求导是 PyTorch 中非常重要的特性，能够让我们避免手动去计算非常复杂的导数，这能够极大地减少了我们构建模型的时间。每个Tensor都有个标志：requires_grad，它都允许从梯度计算中精细地排除子图，并可以提高效率。require

卷积神经网络简介文章目录卷积神经网络简介1. 为什么要用卷积神经网络2. 结构组成2.1 卷积层2.2 激活函数2.3 池化层（pooling）2.4 dropout层2.5 全连接层卷积神经网络由一个或多个卷积层和顶端的全连通层（也可以使用1x1的卷积层作为最终的输出）组成一种前馈神经网络。Yann LeCun是卷积神经网络的创始人。2006年后，随着深度学习理论的完善，尤其是计算能力的提升和参

数据增强文章目录数据增强常用的数据增强方法1.1 随机比例缩放主要使用的是1.2随机位置截取1.3 随机的水平和竖直方向翻转1.3 随机角度旋转1.4 亮度、对比度和颜色的变化前面我们已经讲了几个非常著名的卷积网络的结构，但是单单只靠这些网络并不能取得很好的结果，现实问题往往更加复杂，非常容易出现过拟合的问题，而数据增强的方法是对抗过拟合问题的一个重要方法。2012 年 AlexNet 在 Ima

卷积神经网络简介文章目录卷积神经网络简介1. 为什么要用卷积神经网络2. 结构组成2.1 卷积层2.2 激活函数2.3 池化层（pooling）2.4 dropout层2.5 全连接层卷积神经网络由一个或多个卷积层和顶端的全连通层（也可以使用1x1的卷积层作为最终的输出）组成一种前馈神经网络。Yann LeCun是卷积神经网络的创始人。2006年后，随着深度学习理论的完善，尤其是计算能力的提升和参

优化算法1.SGD随机梯度下降法：θi+1=θi−η∇L(θ) \theta_{i+1} = \theta_i - \eta \nabla L(\theta)θi+1​=θi​−η∇L(θ)import numpy as npimport torchfrom torchvision.datasets import MNIST # 导入 pytorch 内置的 mnist 数据from torch.

卷积神经网络简介文章目录卷积神经网络简介1. 为什么要用卷积神经网络2. 结构组成2.1 卷积层2.2 激活函数2.3 池化层（pooling）2.4 dropout层2.5 全连接层卷积神经网络由一个或多个卷积层和顶端的全连通层（也可以使用1x1的卷积层作为最终的输出）组成一种前馈神经网络。Yann LeCun是卷积神经网络的创始人。2006年后，随着深度学习理论的完善，尤其是计算能力的提升和参

动量法使用梯度下降法，每次都会朝着目标函数下降最快的方向，这也称为最速下降法。这种更新方法看似非常快，实际上存在一些问题。1. 梯度下降法的问题考虑一个二维输入，[x1,x2][x_1, x_2][x1​,x2​]，输出的损失函数 L:R2→RL: R^2 \rightarrow RL:R2→R，下面是这个函数的等高线：可以想象成一个很扁的漏斗，这样在竖直方向上，梯度就非常大，在水平方向上，梯度就

经典网络（二）文章目录经典网络（二）4. GoogLeNet (Inception)5.ResNet退化问题残差网络的解决办法我们该如何选择网络？4. GoogLeNet (Inception)Google Christian Szegedy 论文 - 使用1×1卷积块（NiN）来减少特征数量，这通常被称为“瓶颈”，可以减少深层神经网络的计算负担。 - 每个池化层之前，增加 feature map