logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

书生大模型实战营L1G5000 - XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter

文章图片
#人工智能#语言模型
书生大模型实战营L1G5000 - XTuner 微调个人小助手认知

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型,而是一个额外的层(Adapter),训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter

文章图片
#人工智能#语言模型
到底了