Vit是最新的用了transformer架构的图像模型，在很多比赛都获得了大奖，是非常优秀的架构。而且据说cnn其实只是vit的一个子集，cnn的卷积其实就是vit在很小的范围做了注意力机制。transformer是用来处理一串文字序列到另外一串，其实图片也可以搞成一个个小的子图，每个子图就好像一个词，然后大图是一句话，这不就是用transformer做图片模型了。图片准备好，每个图也有标签，做些

现在数据集这个就是红酒的分类的数据集红酒每一个都会有很多的属性有三个属性下载数据集，这个是红酒的分类的数据集，红酒每一个都会有很多的属性，有三个属性。这十三个属性就可以用来分辨它是哪一个13个属性就可以用来分辨它是哪一个红酒。x_tile = ops.tile(x, (128, 1))x是原来的tensor，128 是第一维度重复128次，1是表示第二维度只重复一次。已经知道y，就可以把距离算出来

假如到内存以后，我们还可以把它保存成一个中间格式，这种中间格式我查询资料意思就是将来我们如果想要优化模型的结构，我们可以利用中间格式。加这行代码，可以保存出来最全的文件，在这个文件里面有好多的文件，其中这个文件是比较有用的。在网上搜索一个在线的打开工具，就可以把这种文件打开成一个可视化的图像，可以看到网络中的结构。模型训练好了以后我们可以把它保存在硬盘上面以等待，我们可以把它保存在硬盘上面，以等待

我们希望得到这个模型来对词进行标注，B是开始，I是实体词的非开始，O是非实体词。我们首先需要lstm对序列里token的记忆，和计算每个token发到crf的分数，发完了再退出来，最后形成1模型。那么细节我就不感兴趣，直接说训练数据训练数据就是这样被空格所分开，然后就可以去训练。把这些词都放到词表，每个字来一个数字对应，他们的目标值label也就是B，I，O，对应的数字0，1，2表示得到梯度函数，

迁移学习指的是在预训练的模型基础上对特殊的任务，对新的任务进行一个在训练，使得模型能够适应新的任务。这就是一个新的任务，以前的模型可能它能够分类10个类，但是现在我只需要它分类两个类别，所以是新的任务。那么在数据进行预处理的时候，往往要根据数据集本身所具有统计特征，然后来设定一个规划的值，这个值下面的值就是通过这个数据集的统计特征所选出来的值，所以是固定的。用来适应于新的任务，所以这个初始化的值是

当然再配上2 优化器定义D和G的forward就是运用前面的正向得到的loss，再给优化器去优化ms.jit会编译代码为机器码，加速的这种模型训练的还比较快。不知道是不是网络的关系？画个图看看D和G的lossloss都变小img = np.clip(np.concatenate((images[:]), axis=0), 0, 1) 这段代码只是将图片里面图片进行一个叠加，然后再把值限定在0，1，

他和gan是很相似的，但是他比较依赖于输入的图像，例如在使用的时候要输入1图片，会基于这个图片做生成，而gan是直接自己就生成，所以他是一种基于条件的gan。跳跃连接将编码器中的高分辨率特征直接传递给解码器，使生成器能够更好地保留输入图像的细节，从而生成更清晰、更精细的输出图像。生成器希望判别器都判别为真，判别器希望真的就是真，假的生成的就是假的。gamma是调节学习率动态衰减，beta是平移梯度

optimizer = nn.SGD(model.trainable_params(), learning_rate=learning_rate) SGD是很常见的优化器。最后通过训练，模型的参数不断优化的工具叫做优化器，优化器里会自动根据梯度去优化那些权重。然后使用上次的自动微分，我们可以得到梯度，再用优化器把这些梯度利用了，去优化nn。这样在每一轮的训练后会出现1测试准确率，知道随着时间越多，

终于要开始进行一些大语言模型的实验了。大模型才是比较火的。

我特地为了这一个做了ppt，把ppt的内容搬运过来，mindspore的ppt模版是漂亮的。