logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇思学习营-模型LoRA微调

是给后续生成任务定规则,让模型知道怎么结束文本、填充空白。这一步是‘搭好模型主干’,用预训练的强大能力打底。把 base model 和 LoRA 配置结合,模型就变成‘主干冻结 + 旁支可训’的形态。这一步是‘设计轻量插件的参数’,决定 LoRA 怎么插、插多深。冻结,给 Attention 层 QKV 这些关键模块加‘旁支’—— 低秩矩阵。,相当于给模型‘装轻量插件’,不动主干,却能适配新任务

#深度学习#人工智能#机器学习
到底了