logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用llamafactory进行量化训练bitsandbytes的版本冲突问题

这里我们选用的是Qianwen1.5——1.8Bchat,训练方式我们选用的是qlora8位的量化等级更小的量化等级,加载的数据量会更多‌但同时会带来精度上的误差。很小的误差几乎可以忽略不计,关键是你的模型训练的强度。

文章图片
#python#pytorch#transformer
LlamaFactory Lora 合并大模型,GGUF 转换与 Ollama 部署Open_WebUI全流程

使用ollama create命令创建自定义模型```![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1c17d68d882e47ab9c6ab056bdda6e00.png)## 3.5 运行模型。

文章图片
#python#pytorch#transformer
到底了