11.2【大模型】lora
·
Lora
解释lora的原理了，lora是在模型的哪一步？在这一步之前，大模型都完成了哪些准备，有哪些条件？有了lora之后，模型代码如何变化，在save与加载时有什么变化，如何使用
LoRA 之前要准备什么？
它具体改了什么？
模型代码要怎么变化？
保存和加载有什么不同？
为什么叫低秩？
关键点——放进大模型后是什么样？
矩阵形状
例子——基础线性层的形状
LoRA 给这个线性层增加什么形状？
为什么这等价于给 W 加一个更新？
关键点——放进大模型后，序列维度怎样变化？
训练时这些形状会变吗？
Lora的设计、调参哲学是怎样的？
在调参时，主要是调整秩r和缩放系数α的大小，然后训练就是在训练A,B矩阵的参数；那么它们的设计和配置有哪些哲学、经验？
目标模块通常比单独加大 rank 更值得先考虑
在一般大模型训练过程中，数据的形状变化情况是怎样的？
QLoRA又是什么？
原本微调的过程或原理是怎样的？
更多推荐
3
0- 0
已为社区贡献2条内容
所有评论(0)