然后写一个for循环迭代50轮，每一轮取16个数据，首先计算当前参数下的预测值pred，然后计算真实值和预测值的损失loss，然后计算loss的梯度并反向传播给w_0和b_0，最后用sgd更新参数。标签Y=X*w+b，x为500x4的矩阵，w为4x1的矩阵，所以y为500x1的矩阵，为了模仿真实世界的随机性，生成了一个与y同型的服从N(0,0.01)矩阵noise,然后加到y上。获取Y的长度，然后

本文介绍了使用PyTorch进行新冠病毒预测的深度学习实战。主要内容包括：1) 数据预处理部分，通过CovidDataset类读取CSV文件，进行数据划分和无量纲化处理；2) 模型构建部分，设计了一个包含两层全连接网络的myModel类；3) 训练流程部分，定义了损失函数(MSE+L2正则)和关键超参数。代码实现了从数据加载到模型训练的全流程，适合深度学习初学者快速上手回归预测任务。关键点包括数据

输入维度和输出维度不匹配，于是考虑卷积核使用1x1卷积(也就是卷积核的尺寸为1x1)，同时输出调整为128，通过这两个参数就实现了深度从64->128的变化，然后步长设置为2，这样尺寸的宽会缩小一半，也就是从56*56->28*28，padding不变，就实现了维度的控制。放入卷积层Conv2d(256, 256, 3, 1, 1)，输出深度为256，输出宽度(13+1*2-3)/1+1=13，得

本节主要认识Bert模型，那么Bert到底是什么？这里就要谈及Transformer模型了⬇我们可以看到，Transformer模型可以被分为两部分，左边为编码器，右边为解码器。Bert就属于编码器部分，而生成模型gpt属于解码器部分，所以Bert主要的作用就是编码。所以，Bert的核心到底是什么？文字怎么编码？要做自然语言处理，自然要能把一段文字以计算机能看懂的方式输入到模型，这种方式就是编码。

本次实战是一个食物分类任务，我们要让许多模型学习食物图片数据，然后进行分类。本次实战会采用模块化思想，通过data.py model.py train.py 和main.py四个python模块进行编写，其实思路基本就是第三节 回归实战的升级拓展，所以如果出现重复内容就不赘述了。这是监督学习模型的数据类，它包含基本三要素 init ，getitem ， len，以及一个读文件方法readfilei

本文介绍了Transformer模型的Decoder部分原理及其在生成任务中的应用。Decoder通过Masked Multi-Head Attention实现自回归训练，确保输出能结合已生成文字，同时利用Multi-Head Attention结合输入语境。生成任务采用串行方式，速度较慢。文章还分享了一个医疗数据处理项目实战，包括数据预处理、词表重建、增量预训练和微调过程。项目使用BART模型，

经历了一系列的学习，也是终于来到了大模型的部分，当下主流的大语言模型LLM基本都是基于transformer架构的decoder。那么它们又有什么区别呢？都是如何做出创新和优化的呢？

既然本项目班的最终目的是考研复试使用，那就有必要按照复试的思路重新整理一下知识，重点谈理论。

本节主要认识Bert模型，那么Bert到底是什么？这里就要谈及Transformer模型了⬇我们可以看到，Transformer模型可以被分为两部分，左边为编码器，右边为解码器。Bert就属于编码器部分，而生成模型gpt属于解码器部分，所以Bert主要的作用就是编码。所以，Bert的核心到底是什么？文字怎么编码？要做自然语言处理，自然要能把一段文字以计算机能看懂的方式输入到模型，这种方式就是编码。

本次实战是一个食物分类任务，我们要让许多模型学习食物图片数据，然后进行分类。本次实战会采用模块化思想，通过data.py model.py train.py 和main.py四个python模块进行编写，其实思路基本就是第三节 回归实战的升级拓展，所以如果出现重复内容就不赘述了。这是监督学习模型的数据类，它包含基本三要素 init ，getitem ， len，以及一个读文件方法readfilei