前言

稀疏化是一种通过减少不必要的计算和内存消耗来优化机器学习模型的技术。它的基本理念是通过增加模型中零值元素的比例（比如权重或激活中的零），减少计算过程中的资源消耗。在大语言模型中，稀疏化通常被应用到权重和注意力激活层。通过有效忽略这些零值，稀疏化能帮助提高模型的效率，并节省计算和存储资源。

稀疏化的策略主要包括两大类：

• 权重剪枝（Weight Pruning）：这种方法通过系统性地移除模型中不太重要的参数来减少计算量。剪枝过程中，去除的部分对模型性能的影响最小，但能显著降低内存和计算负担。权重剪枝可以分为两种方式：

• 无结构剪枝：直接删除个别权重，而不考虑其所在的网络结构。
• 结构化剪枝：在更大范围内进行剪枝，比如整个神经网络层或通道的剪枝。

• 稀疏注意力机制：这种机制特别针对注意力层，目的是减少在模型推理过程中需要处理的元素数目。通过忽略低相关的注意力连接，模型的计算效率得以提升。

通过这些技术，稀疏化能够在保持模型性能的同时，减少计算资源的消耗，使得在资源受限的环境中也能高效运行大规模语言模型。

1. 无结构剪枝（Unstructured Pruning）

无结构剪枝是一种精细粒度的模型压缩技术，旨在通过移除单个权重值，达到更高的稀疏度，同时尽量不影响模型的预测精度。这种剪枝方式重点关注剪枝准则的设计，包括如何评估权重的重要性，以及如何设定合适的剪枝比例。

在大语言模型中，参数数量通常非常庞大，因此提高剪枝的效率变得尤为重要。一种常见的剪枝准则是通过最小化模型的重构损失来选择需要剪枝的权重。这种方法能够尽可能减少剪枝对模型性能的影响。

典型的无结构剪枝策略：

1. SparseGPT：它使用最小化重构损失的方法来移除冗余的参数，从而大幅减少模型的规模。SparseGPT基于Optimal Brain Surgeon（OBS）算法，通过分析剪枝对网络重构损失的影响来生成剪枝掩码，并调整剩余的权重以补偿剪枝带来的误差。这一过程非常高效，避免了反复训练。SparseGPT还采用了局部层级剪枝方式，这使得剪枝过程能够并行化，并通过近似二次损失避免了计算海森矩阵的高昂成本。

   

2. Prune and Tune：这是对SparseGPT的改进，它通过最少的训练步骤对大型语言模型进行微调，进一步提升了剪枝的效率和精度。

3. ISC：结合了OBS和Optimal Brain Damage（OBD）中的显著性准则，为每一层分配不同的剪枝率，并利用海森矩阵的信息来优化剪枝过程。

4. 幅度基准剪枝（Magnitude-based Pruning）：这类剪枝方法依赖于权重幅度或与输入激活的关系来决定剪枝的权重。比如Wanda算法就利用了权重幅度与输入激活范数的逐元素乘积来进行剪枝。

5. RIA（Relative Importance and Activations）：通过将权重与激活结合分析，RIA能更精准地评估每个权重的重要性，并将无结构稀疏模式转化为结构化的N:M稀疏模式，从而能够更好地利用GPU硬件加速。

6. Pruner-Zero：这个方法能够为大语言模型（LLMs）自动确定最优剪枝准则，相比传统的手动设计，自动化的剪枝准则表现出了更高的效率。

虽然无结构剪枝在减少模型计算和内存使用方面表现出色，能够实现更高的稀疏度，但由于其剪枝后产生的稀疏模式是无规则的，这使得内存访问和计算模式变得不规律。因此，虽然它在节省资源方面有效，但在硬件加速方面的收益往往有限。因为现代计算架构通常是针对规则化的稠密数据模式进行优化的，而无结构稀疏模式可能导致硬件效率的下降。

2. 结构化剪枝（Structured Pruning）

结构化剪枝是一种模型压缩技术，它通过剪除模型中较大的结构单元，如神经网络的整个层或通道，从而达到减少计算量的目的。与无结构剪枝（移除单个权重）相比，结构化剪枝的粒度更大，因此能够直接与硬件平台的优化机制匹配，提升推理速度。然而，结构化剪枝的缺点是，由于剪枝的粒度较粗，它可能会显著影响模型的整体性能。

结构化剪枝的策略：

• LLM-Pruner：这个算法为大语言模型（如LLaMA）提出了任务无关的结构化剪枝方法。它首先识别模型中需要一起移除的成对结构，比如神经元之间的耦合、MLP层或多头注意力（MHA）层之间的依赖关系。通过建立依赖图，LLM-Pruner能够高效地找到这些耦合结构并评估它们对模型性能的贡献，然后剪除重要性较低的部分。在剪枝后，LLM-Pruner还通过LoRA（Low-Rank Adaptation）方法来微调模型，以恢复性能。
• LoRAPrune：这个方法为带有LoRA模块的大语言模型设计了一个结构化剪枝框架，旨在提高推理效率。它通过利用LoRA的权重和梯度来估计权重的重要性，避免了计算传统预训练权重梯度时产生的高内存开销。结合LoRA的剪枝标准，LoRAPrune能够有效地去除冗余的通道和头部，减少模型规模，同时保持较好的性能。
• LoRAShear：这是另一种基于LoRA的大语言模型剪枝方法。LoRAShear通过分析模型参数与LoRA模块之间的关系，构建依赖图来识别最少需要移除的结构。这种方法不仅确保模型的核心知识得以保存，还能有效地将冗余结构中的信息传递给新模型。通过渐进式剪枝和结构稀疏优化算法，LoRAShear提高了模型的性能和知识保存能力。

3. 专家稀疏化（Expert Sparsification）

混合专家（MoE）技术是近年来在大语言模型（LLM）领域受到广泛关注的一种方法。它的核心思想是将任务的计算分配给多个“专家”，每个专家负责模型的某一部分工作，而不是让单一的模型处理所有任务。这样可以使得模型在需要处理大量任务时更加高效，同时保持高质量的输出。

在MoE模型中，不是所有的专家都会在每次推理中被激活，通常只有少数几个专家参与工作。随着模型规模的增大，MoE能够显著提高计算效率，因为它可以根据任务需要动态选择不同的专家来处理。这种灵活性使得MoE在处理复杂任务时表现得尤为强大。

然而，如何优化MoE模型，尤其是在减小其规模的同时不降低性能，是一个重要的研究课题。专家剪枝（Expert Pruning）是为了解决这一问题而提出的技术，旨在通过移除不必要的专家来减小模型的体积和计算开销，同时尽可能保留模型的性能。

专家稀疏化（Expert Sparsification）

ExpertSparsity 是一种专门用于MoE模型的专家稀疏化方法。它的目标是识别和去除那些对模型整体性能贡献较小的专家，以便减小模型的大小和提高计算效率。

• 损失计算：
  ExpertSparsity通过计算Frobenius范数来衡量剪枝前后模型的损失。Frobenius范数是矩阵的一种度量，它能够表示输出的变化幅度。通过这个方法，研究人员能够量化剪去某些专家后，模型预测的变化程度，从而评估哪些专家可以被安全移除，而不会对模型产生明显的性能影响。
• 分层评估：
  MoE模型中的每个专家有不同的贡献度，ExpertSparsity会对这些专家进行分层评估，根据每个专家对模型性能的影响来判断是否可以剪枝。重要性较低的专家将被移除，从而实现模型的压缩。这个过程会帮助大语言模型更加高效地运行，减少不必要的计算。

渐进式剪枝（Progressive Pruning）

在进行专家剪枝时，渐进式剪枝方法（Progressive Pruning）是一个常用的策略。它并不是一次性移除大量的专家，而是采取逐步剪枝的方式：

• 逐步剪枝：
  每次剪去一些专家，然后再对剪枝后的模型进行评估，确保模型的性能不会因剪枝操作而显著下降。通过反复迭代这一过程，最终找到最优的剪枝策略，从而在减少模型规模的同时，最大限度地保留模型的性能。
• 避免性能下降：
  逐步剪枝的优点在于，它能够避免一次性大规模剪枝带来的性能损失，保持模型在任务执行时的准确性和稳定性。

动态跳过（Dynamic Skipping）

在MoE模型的推理过程中，并非所有专家都必须参与计算。为了进一步提高效率，动态跳过（Dynamic Skipping）技术应运而生：

• 动态决定专家：
  根据输入数据的特点，模型动态决定是否激活某些专家。对于一些输入数据不太重要的任务，模型可以选择跳过某些专家的计算，这样就能节省不必要的计算资源。
• 提高推理速度：
  通过跳过那些对当前任务影响较小的专家，动态跳过技术能够减少计算量，显著提升模型的推理速度，尤其是在大规模语言模型中，能够大大提高效率。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

但知道是一回事，做又是另一回事，初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性，在这基础上，找到高质量的学习资源，不浪费时间、不走弯路，又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式，可以更直观地展示过程，能有效提升学习兴趣和理解力，是现在获取知识的重要途径

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍（PDF）

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

600+AI大模型报告（实时更新）

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】