在前两节中，我们介绍了线性回归并对其进行了实现，利用线性回归我们可以预测数量问题，如房屋出售价格。我们同样对分类问题十分关心，比如哪一封电子邮件是垃圾邮件、图片上描绘的是哪一种动物等等。在本章节，我们将介绍softmax回归以解决分类问题。值得注意的是，尽管softmax回归带有“回归”二字，但它本质上是用于分类的。我们还会介绍MNIST数据集，这是在图像分类中广泛使用的数据集之一，有了它我们便可

文章内容参考《动手学深度学习》PyTorch版教材，以及李沐老师的深度学习课程的一些讲解，文章以笔记的形式记载了一些知识点和本人对代码的理解，欢迎各位大佬批评指正。本次学习内容是线性回归的从零开始实现，首先对线性回归的数学概念及逆行了简短的回顾；随后建立人工数据集，定义了模型和损失函数，对模型参数设置了初始化，学习了小批量随机梯度下降的优化算法；最后，依据人工数据集中的样本，利用sgd算法预测模型

softmaxXijexpXij∑kexpXiksoftmaxXij​k∑​expXik​expXij​​注：softmax操作由三个步骤组成，这里输入的参数是未规范化的预测ojo_joj​。1、对每一项求指数幂。2、对每一行求和，得到每个样本的规范化常数，也就是partition。3、将每一行除以规范化常数，确保它们加和为1。我们可以做一个验证来直观地感受一下。下面的代码定义了如何通过网络映射对

L2L_2L2​训练函数的定义和线性回归模型基本相同，只是增加了一个超参数lambd，用于控制正则项的强弱。最后我们以动画形式输出训练过程和www的L2L_2L2​泛数用于比较。print('w的L2范数是：', torch.norm(w).item())

对于标准的深度学习模型，我们通常使用框架预定义好的层，并且只关注使用哪些曾来构造模型，而不必关注层的实现细节。注：1、nn.Linear(2, 1) 指定接收2维的输入，即每个样本有2个features，和1个输出label。这个层在内部给定两组参数：一组权重（w1, w2）和一个偏置（b），它们的组合可以将输入数据线性变换为输出数据。2、nn.Sequential()可以将所有层串联在一起，将第

在前两节中，我们介绍了线性回归并对其进行了实现，利用线性回归我们可以预测数量问题，如房屋出售价格。我们同样对分类问题十分关心，比如哪一封电子邮件是垃圾邮件、图片上描绘的是哪一种动物等等。在本章节，我们将介绍softmax回归以解决分类问题。值得注意的是，尽管softmax回归带有“回归”二字，但它本质上是用于分类的。我们还会介绍MNIST数据集，这是在图像分类中广泛使用的数据集之一，有了它我们便可

文章内容参考《动手学深度学习》PyTorch版教材，以及李沐老师的深度学习课程的一些讲解，文章以笔记的形式记载了一些知识点和本人对代码的理解，欢迎各位大佬批评指正。本次学习内容是线性回归的从零开始实现，首先对线性回归的数学概念及逆行了简短的回顾；随后建立人工数据集，定义了模型和损失函数，对模型参数设置了初始化，学习了小批量随机梯度下降的优化算法；最后，依据人工数据集中的样本，利用sgd算法预测模型