对attention的参数加入如下图所示，使用两个A，B矩阵来拟合原始QKV矩阵，其中A，B矩阵中的两个参数r,lora_alpha为重要参数，一般情况下，lora_alpha为r的两倍以上。香橙派AIpro的host侧和device侧共享，所以在host侧的内存占用（如python的多进程，模型加载等）也会影响到显存。冻结原始网络参数，对Attention层中QKV等添加旁支，包含两个低维度的矩

本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。

推理效果的调优：对于部分推理输出中会出现重复性的语句可以在上面提到的generate_kwargs配置中加入repetition_penalty=1.2来处理，如下图所示。基于权重加载和启动推理，就mindspore框架来说，基于lora微调后的推理流程分别为加载基础模型参数和微调参数，如下图代码所示。下面三段代码的截图为载入模型、配置模型的对话参数及模型对话功能演示。2. mindspore.j

本次打卡基于resnet50的迁移学习方法来构建2分类的图像识别模型，流程包含图像数据预处理，数据集划分，模型构建，预训练参数加载，模型训练，其中本次打卡中展现的预训练参数加载方式相对比较复杂，方便展示整个模型的结构，实际多数的迁移学习方式多数基于加载库中模型接口的方式，可以参考官方文档。

多数情况下，考虑到GPU消费及服务器会发生故障，以及开源方便其他人使用预训练，需要对模型及相关参数进行封装，方便后续再次训练及其他人基于目的来训练模型，mindspore框架提供多种模式方便存储模型结构和参数，方法部分跟pytorch框架类似，所以学习pytorch和mindspore框架的成本较低，相互通用性较高。

当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。construct意为神经网络（计算图）构建，相关内容详见使用静态图加速。nn.ReLU(),nn.ReLU(),​构建完成后，实例化Network对象，并查看其结构。我们构造一个输入数据，直接调用模型，可以获得一个十维的Tensor输出，其包含

keep = []breakres = {}"""""""""else:else:else:lr = 0.0opt(grads)训练及测试结果总结。

Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，该模型是由Phillip Isola等作者在2017年CVPR上提出的，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上，尽管此类任务的目标都是相同的从像素预测像素

CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络相较于GAN模型和Pix2Pix 模型的训练方式，cycleGan基于对图像对的变换识别来训练相关参数。

Beam search通过在每个时间步保留最可能的 num_beams 个词，并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。缺点: 错过了隐藏在低概率词后面的高概率词，如：dog=0.5, has=0.9!文本解码原理是现在训练bert及后续大语言模型的基础，基于对输入来预测输出，即一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积。选出概率最大的 K 个词，重新归