Qwen2是通义千问团队最近开源的大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式做高精度文本分类，是学习LLM微调的入门任务。在本文中，我们会使用 Qwen2-1.5b-Instruct 模型在 复旦中文新闻 数据集上做指令微调训练，同时使用SwanLab监控训练过程、评估模型效果。采用了Lora方法，所以显存要求不高，10GB左右就可以跑。代码：完整代码直接看

微调框架使用的是，每张卡80G显存，，**数据盘50G,系统盘30G.**8B模型磁盘占用带下大概是20G.微调完的模型磁盘占用大小是35G左右。全参数微调占用的显存大概是lora参数微调的10倍+，一定要预留足够的显存，防止出现显存不够的问题。就我目前的数据集的实验结果，全参数微调跟lora微调相比，效果差不多，可能是数据集比较少的原因，后续会增加更多更好高质量的数据集和优化微调参数进行更多的验

最全大模型学习路径！微调、RAG、Agent一网打尽 3个层次6个方向，学完怎么能不算大模型专家呢~😍🌟从基础到进阶，再到实际应用。希望这篇指南对你有所帮助，让你在大模型技术的道路上越走越远！后台私信回复“99”，领取高清大图、了解4大企业级Agent项目详情第一层：大模型基础技术 🏠无论你是想进入哪个领域的大模型开发，第一步都是选择一个合适的大模型。这一步非常关键，因为它直接影响到后续的所

1️⃣【AI的产品形态到底是什么】？没有固定形态。实际上AI只是一种对传统产品或服务赋能的手段而已，将各种“中间件”（通常是一种训练好的模型，当输入一定数据后自动返回一定的输出值）、传感器等不同形式的软件、硬件融入传统产品或服务的使用或体验流程中。AI只是一种工具而已，产品的终极目标仍然不变为用户创造最大价值，提供最佳用户体验。2️⃣【AI产品的三要素】算法+计算能力 +数据3️⃣【AI产品经理核

本文旨在系统性建设大型模型训练平台的思路，从大模型训练平台等建设节奏、系统层次架构、算法训练流程、模型管理和应用等方面介绍构建大模型训练平台的思考过程。本文虽然无法涵盖所有的方方面面，但重点介绍大型模型平台的建设思路和相关注意事项。后续将持续分享大规模模型针对实际情况的实现和相关技术选型的思考。

▲ 左侧：原始版本的 LoRA，权重是稠密的，每个样本都会激活所有参数；右侧：与混合专家（MoE）框架结合的 LoRA，每一层插入多个并行的 LoRA 权重（即 MoE 中的多个专家模型），路由模块（Router）输出每个专家的激活概率，以决定激活哪些 LoRA 模块。由于大模型全量微调时的显存占用过大，LoRA、Adapter、IA 这些（Parameter-Efficient Tuning，简

根据行业报告，近年来**AIGC（AI Generated Content）**领域岗位数量井喷式增长，AI大模型产品经理作为连接技术与市场的桥梁，正扮演着越来越重要的角色。这一趋势的背后，是企业对AI技术应用的迫切需求和对专业人才的高度渴求。然而，市场需求的激增也带来了人才供给的紧张，尤其是既懂技术又懂市场的复合型人才更是难求。是一个在人工智能领域中具有关键作用的职位，他们负责策划、开发和管理基

过去的一年中，最炙手可热的是以扩散模型和大语言模型为代表的 AIGC 技术的普及，在可预见的未来，这种热度仍将持续下去。无论主观上是否愿意，AIGC已经在重构我们的工作流程，重构人与人、人与机器、机器与机器的关系，上一次类似的技术变革还是上个世纪 90 年代末，互联网走向普通大众的时代。那也是一个软件英雄辈出的时代，求伯君、丁磊、王江民、梁肇新、洪以容、张小龙皆以一己之力做出了风靡全国的产品。后面

在自然语言处理（NLP）中，微调大型预训练模型是一种有效的迁移机制。然而，面对众多下游任务时，微调在参数上是不够高效的：每个任务都需要一个全新的模型。作为替代方案，我们提出了使用适配器模块（adapter modules）进行迁移。适配器模块提供了一个紧凑且可扩展的模型；它们每个任务只增加了少量可训练参数，而且可以无需重新审视先前的任务即可添加新任务。原始网络的参数保持固定，从而实现了高度的参数共

瞧瞧这张表，OpenAI的GPT系列，Google的Gemini、PaLM，Meta的Llama……个个都是响当当的名号。参数量一个比一个吓人，发布时间一个比一个新。这哪是技术竞赛，分明是烧钱大赛！每个模型都吹嘘自己多牛逼，能干多少事。但用户真正能用上的、用得爽的，又有多少？别光看广告，疗效才是关键。而且，这些巨头们的技术壁垒越筑越高，小玩家还怎么活？