登录社区云，与社区用户共同成长
邀请您加入社区
本文探讨了大模型微调与检索增强生成(RAG)的关键技术与优化策略。在微调方面，重点分析了领域微调中平衡领域知识与通用能力的方法、SFT指令遵循能力下降的原因及解决方案、PEFT三大核心方法(LoRA、Prefix-Tuning、Adapter)的原理与实现，以及QLoRA和DPO的创新优势。在RAG方面，系统梳理了13类常见问题及解决方案，详细介绍了RAG-Fusion的多源检索融合技术，提出了检
最后我们做一个总结，首先全量微调就是针对于这些每个参数的学习，就是我要通过学习的方法，把这里的每个参数都要一个一个的要把它算出来。那相反，在LoRA的模式下，我们实际上要得出来的是这个矩阵，但是我们学习的方法是用于学习这两个矩阵来替代它。然后这两个矩阵所占用的参数的数量要比它要小很多，所以就会节省非常多的资源。
怎么计算 LoRA 微调所需的显存（VRAM）？
其中，K(SGD)LoRA 和 K(SGD)分别是 LoRA和全微调诱导的核，N是数据集中的样本数量，c 是梯度和输入的 L2 范数的上界，ϵ 是近似误差， δ 是由 4N2 exp(−(ϵ2 − ϵ3)r/4)给出的概率界限，其中 r 是 LoRA中使用的秩。简单来说就是减少参数量和计算量：由这个公式∆W （d*d的矩阵）= B（d*r的矩阵）A（r*d的矩阵）（r<<d）原来需要计算d*d个参
本文介绍了参数高效微调(PEFT)技术及其在自然语言处理中的应用。文章首先探讨了如何选择适合的预训练模型，以文本风格润色任务为例，推荐了Qwen2.5系列模型。随后详细阐述了微调方案的选择标准，包括QLoRA、Flash Attention-2等技术组合。文章重点展示了PEFT实战过程，特别是数据准备阶段的数据增强技术，通过教师模型自动生成高质量的指令数据集，包括总结扩写、提问回答和风格迁移三种模
本文介绍中小团队如何利用LLaMA-Factory框架和QLoRA技术，在低资源环境下高效微调大模型。通过LoRA低秩适配、4-bit量化等手段，可在单卡消费级GPU上完成百亿参数模型的微调与部署，显著降低算力成本，提升迭代效率。
LoRA是一种参数高效微调(PEFT)技术，通过低秩矩阵分解解决大模型微调的计算和存储成本问题。它冻结预训练模型参数，只训练低秩矩阵增量，显著降低训练开销。LoRA适用于GPT、LLaMA等大语言模型和视觉Transformer，支持多任务切换和高效推理，特别适合算力受限环境。
S-LoRA（Serving Thousands of Concurrent LoRA Adapters ）是一种专为高效服务大量并发 LoRA（Low-Rank Adaptation） 适配器设计的系统，旨在解决在大规模语言模型（LLM）部署中同时处理多个任务特定适配器的高效性问题。S-LoRA 由 Ying Sheng 等人在 2023 年提出，通过优化内存管理、批处理和并行计算，能够在单一
（全套教程文末领取哈）
预训练模型：如DeepSeek、BERT、GPT等，已在大量数据上训练，具备广泛的语言理解能力。微调：为适应特定任务，通常需要对整个模型进行微调，但这种方法计算和存储成本高。LoRA 微调解决了传统微调的局限性。如图所示，底部网络表示大型预训练模型，而顶部网络表示带有 LoRA 层的模型。其核心思想是只训练 LoRA 网络，而冻结大型模型。
如今大模型时代，深刻重塑了很多行业的业务形态与技术架构。从智能客服到内容生成，从代码辅助到推荐系统，大模型正以前所未有的速度渗透到互联网技术的各个领域，成为驱动创新的核心引擎。其强大的泛化能力和上下文理解水平，使得许多过去需要复杂工程与规则设计的任务，如今只需一次“提示”即可完成。然而，尽管大模型展现出惊人的通用能力，对大多数开发者和业务方而言，它仍是一个“黑盒”——我们只能调用其预训练时所掌握的
本文详细介绍如何使用Llama-Factory高效微调通义千问（Qwen）模型，涵盖LoRA与QLoRA技术选型、实战配置参数、训练优化技巧及金融场景落地案例，帮助开发者低成本构建垂直领域专家模型。
如何学习AI大模型？之前我们本地化部署了ChatGLM3-6B，对于大模型有了进一步的了解。这次我会从实际需求出发，完整地讲解一个AI大模型需求，从提出到完整落地的过程，学完这些内容，你也可以在自己所在的企业进行AI大模型落地实践了。目前我们接触的无论是千亿大模型，如130B、ChatGPT，还是小规模的大模型，如6B、LLaMA2，都是通用大模型，就是说通过通用常识进行预训练的，如果我们在实际使
本文详解大模型微调技术，对比全量微调与参数高效微调(LoRA、Prompt-tuning等)策略。全量微调成本高性能优，参数高效微调以低成本接近全性能成为主流。文章提供基于数据量、资源和任务类型的选择指南，并对比LLaMA-Factory、Unsloth等主流框架特点与适用场景，助开发者选择合适方案。
本文系统讲解了如何使用 Hugging Face 的 Diffusers 库从零开始训练与使用 Stable Diffusion 的 LoRA（Low-Rank Adaptation）模型。内容涵盖 LoRA 原理、环境搭建、数据集准备、训练脚本执行、超参数说明与推理加载方式。通过本教程，读者可以在本地 GPU 上快速构建定制风格的图像生成模型，并掌握 AutoPipeline 与多 LoRA 叠
在上面罗列的各种主流微调方法，除了全量微调之外，其余都可以称之为 PEFT，即 Parameter Efficient Fine-Tuning，参数高效微调，它是一种在大语言模型微调过程中，通过减少需要更新的参数数量来降低计算成本和存储需求的技术。毕竟大语言模型的主要问题是参数数量过大，做全量微调实在对资源的消耗太大，已经不是一般研究人员或者普通企业所能做的了。而 PEFT 则是当前大模型领域最为
上一篇已经介绍基础版的Lora微调实现过程，这一篇记录如何微调大模型使其输出带思维链。
本文总结了使用Llama-Factory进行大模型微调时新手常遇的十个典型问题，涵盖显存溢出、LoRA配置错误、数据格式问题、权重合并失败等，并结合底层机制提供切实可行的解决方案，帮助用户高效稳定地完成模型训练与部署。
这篇 LLM 论文非常重要，MIT 通过实验和假设从数学层面发现了 LoRA 和 FFT 之间造成性能差异的可能原因，特别是 LoRA 造成的遗忘，尽管只在小尺寸模型上进行了实验。简单来说，这篇论文的核心观点是：LoRA 和全量微调并不是等价的，它们学习到的东西完全不同，而 LoRA 会产生一种有害的副作用，论文称之为“入侵者维度” (**Intruder Dimensions**)；讽刺的是入侵
本文基于PEFT库，展示了如何使用LoRA进行大模型的参数高效微调策略。
文章详细介绍了低秩适应(LoRA)技术，这是一种参数高效微调方法，通过低秩矩阵分解模拟参数更新，大幅减少可训练参数量。LoRA仅微调查询矩阵和值矩阵即可达到接近全量微调的效果，且较小的秩(r)就能覆盖模型核心变化。相比全量微调，LoRA实现多任务服务、快速迭代、存储优化和推理无开销，显著降低大模型在不同任务适配的资源门槛。
LoRA
——LoRA
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
火山引擎开发者社区
九章云极普惠算力
