logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何训练一个大模型:LoRA

LoRA(低秩适应)是一种高效的大模型微调技术,通过低秩矩阵分解仅训练少量参数,解决了全参数微调的两个核心问题:破坏原模型能力和高昂计算成本。其核心思想是在模型线性层旁添加低秩旁路(如秩为8的两个小矩阵),通过调整缩放系数控制影响程度。该方法显著减少训练参数量(如从5000万降至13万),同时保持模型性能。在Stable Diffusion等应用中,LoRA可实现风格/IP定制化,模型文件仅3MB

文章图片
#深度学习#人工智能
Pillow库(PIL)使用入门教程

Pillow 提供了非常强大的图像处理功能,它能够很轻松地完成一些图像处理任务。与 Python 的其他图像处理库相比(OpenCV、Scikit-image 等),Pillow 库简单易用,非常适合初学者学习。

文章图片
#pillow
RAG:知识库参数设置

工作过程中,使用工作流过程中,由于嵌入知识库。需要对知识库进行配置,下文将对工作过程中的知识库配置进行介绍、并对相关经验进行总结。

文章图片
#人工智能
RAG:知识库参数设置

工作过程中,使用工作流过程中,由于嵌入知识库。需要对知识库进行配置,下文将对工作过程中的知识库配置进行介绍、并对相关经验进行总结。

文章图片
#人工智能
到底了