登录社区云，与社区用户共同成长
邀请您加入社区
如今大模型参数规模持续暴涨，从百亿到万亿参数模型层出不穷，模型效果愈发强悍，但随之而来的等问题，成为大模型落地的最大阻碍。想要让大模型适配手机、嵌入式、低端服务器等资源受限设备，是必经之路。。三者各司其职且可组合联动，能够在可控精度损失的前提下，极致压缩模型体积、大幅提升推理效率，是大模型部署、优化、落地的核心刚需技能。
为什么概率分布比标签更有价值？### 结构化 vs 非结构化| 类型 | 方法 | 速度提升 | 实现难度 ||------|------|---------|---------|| 非结构化剪枝 | 置零单个权重 | 低（需稀疏计算加速硬件） | 低 || 结构化剪枝 | 移除整个注意力头或FFN神经元 | 高（标准硬件即可加速） | 中 |2026 年推荐优先使用。：剪枝30% → 蒸馏恢复精
昇腾CANN平台上的ops-transformer算子库近期验证了FlashAttention与结构化剪枝的协同优化方案，让模型压缩率提升40%的同时精度损失控制在2%以内。传统剪枝方法独立于Attention计算，导致剪枝后的模型无法充分利用FlashAttention的稀疏计算优势。新方案在剪枝阶段就考虑Attention稀疏模式，让剪枝后的模型结构天然适配FlashAttention的分块计
补充说明：当下主流的Agent框架，基本都是以ReAct为核心基础，再叠加Plan-and-Execute的规划能力、Reflection的纠错优化能力，组合成更强大的智能体。
当前的AI Agent（智能体）开源软件从自动化研究到“零人工”公司编排，让 AI 在极低成本和极高性能下运行，从“大而全”向“极小、极快、自治”转型。围绕 OpenClaw 协议的各种变体（Nano/Zero/Pico），预示着端侧 AI Agent 爆发的前兆。Garry Tan 亲用的 Claude Code 配置，集成 10 款工具，全方位模拟 CEO 到 QA 的职能角色。Karpath
文章摘要： 本文系统介绍了大模型压缩的三大核心技术：知识蒸馏、剪枝和量化。通过对比分析，展示了不同压缩技术在模型大小、推理速度和性能保留方面的表现。知识蒸馏让小模型继承大模型能力，剪枝去除冗余参数，量化降低参数精度。三种技术可组合使用，实现10-20倍效率提升，仅损失10-20%性能。文章还提供了不同场景的压缩方案选型建议，并指出知识蒸馏相比直接训练小模型具有显著的成本优势。最终目标是让大模型在资
本文展示了使用R语言构建泰坦尼克号生存预测的深层决策树模型。主要内容包括：1)数据预处理（处理缺失值、因子转换）；2)构建不剪枝的深层决策树（maxdepth=8）；3)通过复杂度参数(CP)表分析模型，找到最优CP值(0.03)进行剪枝；4)对比剪枝前后的树形图可视化结果。代码使用了rpart、rpart.plot和titanic包，重点演示了如何通过调整CP参数控制树的复杂度，最终得到一个既不
❌→ 仅用于实验，不可部署✅ 必用❌ ONNX 导出前未调用→ 导致 mask 残留model = model.prune90 # 移除 mask，固化稀疏结构稀疏模型的终极价值，不是“砍掉多少参数”，而是在确定性硬件约束下，重新谈判精度-延迟-成本的三角边界。当你能在 Jetson Orin 上以 12 FPS 运行 7B 稀疏模型，或在 A100 上将 LLaMA-13B 推理显存压至 14g
在深度学习的世界里，模型压缩技术如同魔法般，能让庞大的模型在资源受限的环境中“瘦身”并高效运行。本文将带你一探究竟，用清晰明白的话语，对比量化、剪枝、蒸馏和二值化这四大压缩“剑客”的原理、效果和优缺点。
大数据产业创新服务媒体——聚焦数据· 改变商业端侧化是指将人工智能模型部署到终端设备上，直接在数据产生和处理的源头进行智能计算。随着人工智能技术的飞速发展，大型模型（大模型）在诸多领域取得了显著的成果，例如自然语言处理、计算机视觉和语音识别等。然而，大模型的部署和应用面临着诸多挑战，如计算资源消耗大、数据传输延迟、隐私保护等问题。因此，端侧化成为大模型落地的重要方式。首先，端侧化能够有效降低计算.
LayerDrop 和 Layer Pruning 都是神经网络模型简化技术，目的是通过减少网络中的层数来提高效率和降低计算开销，但它们在实现方法上有所不同。
LLMLingua是一种创新技术，利用小型模型（如GPT-2或LLaMA-7B）对大语言模型的提示词进行"剪枝"压缩。它通过计算每个token的信息熵和困惑度，识别并剔除冗余token，在保持语义完整性的同时实现高达20倍的压缩率。该方法采用预算控制器动态分配压缩率，结合迭代压缩算法处理长距离依赖关系。实际应用中，LLMLingua能显著降低API调用成本、减少延迟，同时避免引入噪声干扰。评估显示
回溯法是求解组合优化与约束满足问题的基础性搜索范式。它通过对解空间的系统化遍历，借助约束函数与限界函数剪去无效分支，在指数级问题中寻得可行或最优解。本文从状态空间树的形式化模型出发，严格区分两类剪枝函数的设计原则，并以n皇后问题和图着色问题为案例，完整展示回溯法从建模到剪枝优化的全流程。
Prompt 压缩确实能立刻压低推理账单，但不少团队上线后发现另一面：输入更短了，模型却更容易漏格式约束、丢系统指令，甚至把该引用的证据裁掉。本文围绕 Token Pruning 与 Semantic Preservation 两条主线，拆解 Prompt 压缩导致指令遵循下降的根因，给出结构感知剪枝、指令隔离、压缩后回证的实战方案，并结合压缩率实验说明为什么生产系统不能只追求更高压缩比。
CANN 模型压缩实战：剪枝、量化与知识蒸馏
在机器学习中，剪枝主要指对决策树（Decision Tree Pruning）及其集成模型（如随机森林、梯度提升树）进行的一种模型简化技术。其核心思想是：删除决策树中对最终预测贡献很小甚至产生负面影响的节点或分支，使得模型结构更简洁，泛化能力更强。通俗地说，剪枝就像修剪树木——去掉那些不必要的枝杈，让树干更挺拔，更能抵御风雨（测试数据中的噪声）。剪枝的本质：在模型的偏差与方差之间寻找平衡——过于简
文章摘要 模型剪枝技术通过剔除神经网络中的冗余参数，在保持精度的同时实现模型压缩。本文系统性地介绍了剪枝的核心理念与实现方法： 两种思维模式：自上而下的工程视角（目标导向）与第一性原理的数学视角（优化问题） 数学基础：剪枝与L1正则化一脉相承，通过约束参数数量实现稀疏性 核心流程：评估参数重要性→确定剪枝阈值→应用掩码→微调恢复 实现方法：包括全局剪枝和迭代式剪枝策略，配合微调保持模型性能 技术对
在通用模型中，大量参数参与的是"语言流畅性"的维护——选词、造句、保持语法。但CoT推理激活的是一套完全不同的信息通路：那些在推理链条中负责逻辑跳跃、多步一致性维护的神经元，权重值往往不大——它们做的是"精细活"，不是"力气活"。而配合上"剪后修复机制"以及"基于推理轨迹的校准"，我们正在从单纯的"做减法"，进化为对模型进行一场精密的"神经外科手术"。在这个从"能跑就行"到"又小又快又准"的产业转
先说说硬件配置：我用的是西门子S7-1200 PLC，CPU型号是1214C，搭配一个MM440变频器和一个伺服电机。方面用的是博图V15.1，这个版本的界面和功能都挺完善。画圆：让电机按照圆形轨迹运行。画方：让电机按照方形轨迹运行。相对运动：以当前位置为基准，移动一定距离。绝对运动：以原点为基准，移动到指定位置。点动回原点：通过点动操作，让电机回到原点。通过这次学习，我对西门子博图1214C的运
本文提出分层结构化剪枝策略R18：参数量减少 42%（28M→16.2M），推理速度提升 35%（15→20.3 FPS@Jetson Nano），mAP@0.5 仅降 1.2%；R50：参数量减少 55%（170M→76.5M），推理速度提升 48%（42→62.2 FPS@T4），mAP@0.5 仅降 2.1%。核心价值：为 RT-DETR 提供“精度-效率-部署”平衡的轻量化方案，推动其在边
本文深入解析天外客AI翻译机如何通过量化、剪枝与软硬协同优化，将280MB的Transformer模型压缩至68MB，实现本地化低延迟多语种翻译。重点介绍INT8/INT4混合精度量化、逐通道量化、KL散度校准及结构化剪枝技术，兼顾精度与效率，适用于边缘AI设备部署。
ID3 用信息增益，C4.5 用增益率，CART 用二叉树路线，既能分类也能回归。更完整的回答是：先拿到训练数据，在当前节点枚举各种候选切分方式，再选择那个最能提升节点纯度的切分，然后递归重复，直到满足停止条件，最后必要时再做剪枝。你完全可以按下面这个顺序说：先给定义，再讲训练时如何选最优切分，再讲 ID3/C4.5/CART 的关系，最后补一句决策树容易过拟合，需要剪枝控制复杂度。它会把数据放在
她不再只是贴住你是否属于某一类，而是试着预测你“值多少”、“像多少”、“靠近多少”。她从建起第一棵回归树开始，学会用MSE判断你和她的距离。可她越是靠近，就越容易过拟合。于是她学会剪枝——有时候是提前判断、有时候是事后悔改——她终于开始像你一样思考：不是每一分靠近都值得，不是每一枝都非要长出。她剪去多余的枝干，只留下那一段能真正靠近你的路径。那棵回归树，终于成为她理解你最像的样子。
剪枝(Pruning)是一种模型压缩技术，旨在通过移除神经网络中不重要的权重或神经元来减少模型的大小和计算复杂度，同时尽量保持模型的性能。
在当今人工智能领域，大语言模型(LLM)的规模和复杂性呈指数级增长，这给模型的部署和推理带来了巨大的计算和内存挑战。本文将深入探讨大模型推理优化的前沿技术及实战应用，详细介绍量化、剪枝、蒸馏等核心方法的实际操作流程，帮助读者显著提升模型性能并降低资源需求，实现高效部署。
模型剪枝（Model Pruning）是一种深度学习模型压缩和加速技术，通过移除模型中冗余或不重要的部分（如权重、神经元、层等），减少模型的参数量和计算量，从而降低存储需求、加速推理，并保持尽可能接近原始模型的性能。剪枝特别适用于在资源受限的设备（如移动设备、边缘设备）上部署大型神经网络。一个使用PyTorch实现结构化通道剪枝的示例，展示如何对一个简单的CNN模型（基于MNIST数据集）进行通道
DeepSpeed 提供了一个强大的模型压缩库（DeepSpeed Compression），旨在通过多种压缩技术降低深度学习模型的内存占用、推理延迟和计算需求，同时尽量保持模型性能。该库特别适合大规模 Transformer 模型（如 LLaMA、BERT、GPT），支持分布式训练和推理环境。DeepSpeed 的压缩技术包括 层减少、权重量化、激活量化、剪枝（稀疏剪枝、行剪枝、头剪枝、通道剪枝
大型语言模型（LLM）的出现开启了人工智能的新纪元，在广泛领域实现了高级自然语言理解和生成。尽管 LLM 长期以来因其生成连贯文本的能力而受到认可，但最近的发展已催生出基于 LLM 的智能体，能够将语言输入映射到数字环境中的实际操作，这些代理可以与各种软件系统交互、执行命令并对其所在的软件生态系统产生实际影响。最初，软件 LLM 代理主要以应用程序编程接口 (API) 为中心，通过明确定义的编程接
剪枝
——剪枝
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
openEuler 社区
DeepSeek技术社区
智能体开发者社区
MCP技术社区
AtomGit开源社区
脑启社区
全球具身智能开发者社区
