一、Lora模型的诠释和应用(完美邂逅,一眼动情——初识小Lora)

本节课程我们通过简介和图片示例,先来简单的认识了解一下Lora模型。

1、为什么要训练Lora模型

1.1 当前的设备性能无法支持大模型的训练

大模型的训练需要更多的素材、处理和准备工作(几百张至几十万张都有),大模型的内存也更大(一般常见的可以达到2G-7G)。训练时,对于机器的设备性能要求更高,比如使用Dreambooth去训练大模型,那么你的显卡显存至少要12G以上,这对于设备性能一般的同学,有些过于奢侈了。

而Lora模型,只需要少量的素材集和一般的设备性能即可完成训练,而且模型体积相比大模型非常小(一般常见的8M-144M)。而一个好的Lora模型效果并不会输给某些大模型。

1.2 当前存有的大模型无法满足需求

现在市面上有很多已经训练好的大模型,涉及到很广的范围,比如人物、动物、植物,游戏场景、建筑、空间、二次元、画风等等。但是,根据自身实际需求,这些可能依然不能满足你对某个或者某些需求的定制。那么这时候,你就可以通过定制训练Lora模型来满足自己的需求。

2、Lora模型是什么?

Lora模型全称:Low-Rank Adaptation of Large Language Models(不用管,不用记),它可以作为Stable Diffusion软件的一个插件模型进行调用使用,其他常用的模型有CheckPoint、VAE、Embeddings、Hypernetwork等。

常用五大模型特征图:

模型名称模型特点模型擅长模型后缀模型大小
CheckPoint主模型、素材丰富、体积大、占用内存大人物、画风等safetensors、ckpt等2G、4G、7G(均可修剪为2G,效果无差别)
Lora微调模型、人/物/画风定制、体积小、效率高推荐人物,其次画风,概念safetensors、ckpt、pt等8M-144M
VAE美化模型、色彩美化、体积小色彩调节ckpt、pt等几十kb
Embedding嵌入模型、调试文本理解、反向嵌入、正向嵌入(同Lora)、体积小推荐人物,其次画风pt等几十kb
Hypernetwork超网络模型、细致画风处理及定制、难度高推荐画风,其次人物,相比以上模型很少用pt等小至kb,大至GB

从以上特征图中可以看到,Lora模型包括训练、定制人物(包括真人、二次元)、物品、画风,体积小(占用内存小,一般100M左右)、训练效率高等优点,仅需要少量的数据集即可训练出属于自己的模型。那么,学会了Lora模型的训练,你就可以依葫芦画瓢,调整其他模型对应的参数设置,应用到其他几个模型的训练上面。

Lora模型不仅可以影响整体的绘画效果,还可以对绘画效果及细节进一步的微调。在出图调用过程中,Lora模型需要配合主模型的使用,实现对图片结果的调整优化输出。

我们都知道,在SD中作图时,出图结果是没有下限的,最终的图片可能是杂乱的,崩坏的,不符合我们预期的。那么我们一般是通过调整提示词、提示词的权重、甚至运用ControlNet等插件进行结合使用,优化出图,但是最终的图片效果可能依然达不到我们的预期。那么这时候,我们就可以运用Lora模型的调用,来进一步优化我们的图片。这也是为什么它可以作为一种微调模型使用。即在主模型固定的基础上,对人(包括五官、服饰、姿态等)、物品(特征细节、角度等)、画风(艺术风格、技法等)等细节进一步的微调,来达到自己理想中的出图状态和效果。

2、调用Lora模型的应用案例

我们可以通过下面一些图片的示例,看下在同样提示词和参数设置下,没有调用和调用Lora模型后的效果区别。

2.1、人物Lora模型示例:

(调用JC的Lora模型前)

(调用JC的Lora模型后)

(调用Fantasygirls的Lora模型前)

(调用Fantasygirls的Lora模型后)

2.2、画风Lora模型示例:

(调用画风Lora模型前)

(调用画风Lora模型后)

(调用画风Lora模型前)

(调用画风Lora模型后)

通过以上图例我们可以看到,在相同的提示词和参数下,由SD主模型出图的真人效果,无法实现我们对于某个真实存在的人物图像的直接呈现,但是调用了经过训练这个人物的Lora模型之后,就可以完成人物相貌的还原以及特效、场景的二次构造

另外,在没有改善画质等特别提示词和相同的参数下,由SD主模型出图的效果,整体色调会有些偏暗,构图简单、特效简单,但是调用了训练的Lora模型后,图片的整体风格、色彩色调、构图特效、细节优化等有了很大的加强、改善和提升。如果,你会使用PhotoShop等软件,还可以对图片进行二次美化和合成处理,来达到你所需求的最终效果。

下期第三讲预告:LORA模型训练-10分钟掌握模型训练素材图片的要求

视频讲解课程地址:

SD-LORA模型训练及SDXL-lora模型训练基础加进阶教程​huke88.com/course/161695.html?pageType=8&key=lora%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83&identify=1704508682&ab=1​编辑icon-default.png?t=N7T8https://huke88.com/course/161695.html

Logo

尧米是由西云算力与CSDN联合运营的AI算力和模型开源社区品牌,为基于DaModel智算平台的AI应用企业和泛AI开发者提供技术交流与成果转化平台。

更多推荐