LoRA 大模型微调是怎么回事
·
预训练：通过海量的输入得到输出，然后计算loss值，不断调整参数的过程。
特点：材料的量大。
微调：（监督微调SFT）投入特定的文本进行训练。
用小矩阵乘法，去适配大矩阵参数的一个过程
更多推荐
0
0- 0
已为社区贡献7条内容
已为社区贡献7条内容
已为社区贡献7条内容
预训练：通过海量的输入得到输出，然后计算loss值，不断调整参数的过程。
特点：材料的量大。
微调：（监督微调SFT）投入特定的文本进行训练。
用小矩阵乘法，去适配大矩阵参数的一个过程
更多推荐
0 0
已为社区贡献7条内容
所有评论(0)