
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
昇思学习营-模型推理和性能优化
简单说,推理流程是‘加载双权重→配置推理参数→异步生成文本’。通过拆分 base model 和 LoRA adapter 加载,既复用预训练效率,又融入微调能力;用generate方法 + 参数配置,灵活控制输出;异步执行保障交互体验。后续还要做效果对比(看微调后是不是更贴合任务 )、性能测试(测推理速度、资源占用 )、性能优化(让模型在香橙派这类硬件上跑得更顺 ),把推理环节打磨扎实,真正落地
昇思学习营-模型LoRA微调
是给后续生成任务定规则,让模型知道怎么结束文本、填充空白。这一步是‘搭好模型主干’,用预训练的强大能力打底。把 base model 和 LoRA 配置结合,模型就变成‘主干冻结 + 旁支可训’的形态。这一步是‘设计轻量插件的参数’,决定 LoRA 怎么插、插多深。冻结,给 Attention 层 QKV 这些关键模块加‘旁支’—— 低秩矩阵。,相当于给模型‘装轻量插件’,不动主干,却能适配新任务
到底了







