也可单独保存低秩矩阵（A 和 B），实现 “一个基模型 + 多个任务 LoRA 权重” 的轻量部署（如切换任务仅需加载对应 LoRA 参数）。全量微调需更新模型所有参数（如 1750 亿参数的 GPT-3），而 LoRA 仅需训练低秩矩阵（秩 r=16 时，参数量通常为原模型的 0.1%~1%），大幅降低内存和算力需求。冻结预训练权重避免了大规模参数更新导致的 “灾难性遗忘”（预训练知识丢失），且

将模型权重和激活值从高精度（如 FP32）转换为低精度（如 FP16、BF16、INT8、INT4 甚至 INT2），减少内存占用和计算量。用 “大模型（教师模型）” 的输出指导 “小模型（学生模型）” 训练，使小模型学到大模型的知识，在参数量大幅减少的情况下保持接近的精度。移除模型中 “冗余” 的参数或结构（如权重接近 0 的神经元、不重要的卷积核），降低模型复杂度。

场景适配硬件与资源适配