与简单地看权重“大小”的幅值剪枝不同，基于梯度的剪枝试图回答一个更根本的问题：“这个参数对模型的学习和优化过程有多重要？” 它关注的是参数的。它虽然实现起来更为复杂，成本也更高，但它所带来的高精度和对模型动态的深刻洞察。前作简单讲了“大模型剪枝”的常见分类，接下来将分几篇文字深入剖析“大模型剪枝”领域中几种技术流派，这次先讲最常见的——梯度本身是一个瞬时值，直接使用它充满噪声。这使得它在理论上更为

这三者代表了模型“瘦身”艺术从“粗放雕琢”到“精细手术”再到“自适应变形”的演进路径。| 相对简单 (基于幅值) | 较复杂 (需评估结构重要性) | 非常复杂 (需训练路由/门控网络) || | 结构化剪枝是动态剪枝的基础，动态剪枝是一种特殊的、运行时的结构化剪枝。| 可达极高稀疏度 (90%+) | 压缩率通常适中 (30%-70%) | 不减少存储，只降低。未来的模型优化将不再是单一技术的胜

这两种技术的目标一致——让庞大、昂贵的大模型变得更小、更快、更便宜，从而能够实际部署到手机、汽车乃至物联网设备等各种场景中。，是大模型从“云端”走向“大众”的左膀右臂。蒸馏传递的是“智慧的灵魂”，而剪枝剔除的是“冗余的肉体”。先通过剪枝移除大量参数，再通过蒸馏让模型在更小的尺寸下恢复智能，最后通过量化将权重用更低的精度表示，从而实现极致的压缩。这个过程不仅仅是让学生模型学习教师模型的最终答案，更关

例如，Anthropic在其技术报告中曾提到，采用类似的适配器优化技术后，其客服模型集群的GPU利用率提升了47%，年度计算成本降低了约870万美元。它在微调的“用进废退”过程中，动态识别并淘汰LoRA适配器中贡献不大的部分，最终得到一个更小、更稀疏、更高效的适配器。从前文字中，猫哥提到过LoRA微调，接下来将开一个系列浅析“大模型剪枝”领域中一个非常前沿且极具应用价值的技术分支——LoRA-Pr

函数的MC/DC（Modified Condition/Decision Coverage）代码覆盖率是一种软件测试覆盖率指标，它特别关注于在决策（如if-else语句）中条件和决策本身的测试。MC/DC 覆盖率旨在确保每个条件在决策中至少被评估为真和假一次，并且每个决策（即整个if-else语句或switch语句）的每个可能结果至少被触发一次。同时，它还需要确保在条件改变时（即“Modified

写给AI入行比较晚的小白们比如我自己看的，大神可以直接路过无视了。

是在 LoRA (Low-Rank Adaptation) 基础上发展起来的一种更高效的参数微调技术，尤其适用于资源极度受限的场景。它在保持 LoRA 优点的同时，进一步通过量化 (Quantization)技术压缩预训练模型，显著降低了内存占用，使得即使在消费级硬件上也能微调大型模型。

"LoRA for Vision Transformer (ViT)" 指的是将 LoRA (Low-Rank Adaptation) 技术应用于 Vision Transformer (ViT) 模型，以实现参数高效的微调。ViT 模型在图像识别领域取得了显著的成果，但其庞大的参数量使得全参数微调成本高昂。LoRA 提供了一种解决方案，通过只训练少量参数，即可使 ViT 模型适应新的图像任务，同

是一种将大语言模型 (LLM) 的推理能力（Reasoning）和行动能力（Acting）结合起来的框架，旨在让 LLM 能够像人类一样，在解决问题的过程中既能进行推理（思考、分析），又能采取行动（与外部环境交互、获取信息），从而更有效地解决复杂的任务。ReAct 是一种将大语言模型 (LLM) 的推理能力和行动能力结合起来的框架，旨在让 LLM 能够像人类一样，在解决问题的过程中既能进行推理，又

卷首语：我所知的是我自己非常无知，所以我要不断学习。写给AI入行比较晚的小白们（比如我自己）看的，大神可以直接路过无视了。