登录社区云，与社区用户共同成长
邀请您加入社区
Prompt 压缩确实能立刻压低推理账单，但不少团队上线后发现另一面：输入更短了，模型却更容易漏格式约束、丢系统指令，甚至把该引用的证据裁掉。本文围绕 Token Pruning 与 Semantic Preservation 两条主线，拆解 Prompt 压缩导致指令遵循下降的根因，给出结构感知剪枝、指令隔离、压缩后回证的实战方案，并结合压缩率实验说明为什么生产系统不能只追求更高压缩比。
CANN 模型压缩实战：剪枝、量化与知识蒸馏
在机器学习中，剪枝主要指对决策树（Decision Tree Pruning）及其集成模型（如随机森林、梯度提升树）进行的一种模型简化技术。其核心思想是：删除决策树中对最终预测贡献很小甚至产生负面影响的节点或分支，使得模型结构更简洁，泛化能力更强。通俗地说，剪枝就像修剪树木——去掉那些不必要的枝杈，让树干更挺拔，更能抵御风雨（测试数据中的噪声）。剪枝的本质：在模型的偏差与方差之间寻找平衡——过于简
文章摘要 模型剪枝技术通过剔除神经网络中的冗余参数，在保持精度的同时实现模型压缩。本文系统性地介绍了剪枝的核心理念与实现方法： 两种思维模式：自上而下的工程视角（目标导向）与第一性原理的数学视角（优化问题） 数学基础：剪枝与L1正则化一脉相承，通过约束参数数量实现稀疏性 核心流程：评估参数重要性→确定剪枝阈值→应用掩码→微调恢复 实现方法：包括全局剪枝和迭代式剪枝策略，配合微调保持模型性能 技术对
在通用模型中，大量参数参与的是"语言流畅性"的维护——选词、造句、保持语法。但CoT推理激活的是一套完全不同的信息通路：那些在推理链条中负责逻辑跳跃、多步一致性维护的神经元，权重值往往不大——它们做的是"精细活"，不是"力气活"。而配合上"剪后修复机制"以及"基于推理轨迹的校准"，我们正在从单纯的"做减法"，进化为对模型进行一场精密的"神经外科手术"。在这个从"能跑就行"到"又小又快又准"的产业转
先说说硬件配置：我用的是西门子S7-1200 PLC，CPU型号是1214C，搭配一个MM440变频器和一个伺服电机。方面用的是博图V15.1，这个版本的界面和功能都挺完善。画圆：让电机按照圆形轨迹运行。画方：让电机按照方形轨迹运行。相对运动：以当前位置为基准，移动一定距离。绝对运动：以原点为基准，移动到指定位置。点动回原点：通过点动操作，让电机回到原点。通过这次学习，我对西门子博图1214C的运
本文提出分层结构化剪枝策略R18：参数量减少 42%（28M→16.2M），推理速度提升 35%（15→20.3 FPS@Jetson Nano），mAP@0.5 仅降 1.2%；R50：参数量减少 55%（170M→76.5M），推理速度提升 48%（42→62.2 FPS@T4），mAP@0.5 仅降 2.1%。核心价值：为 RT-DETR 提供“精度-效率-部署”平衡的轻量化方案，推动其在边
本文深入解析天外客AI翻译机如何通过量化、剪枝与软硬协同优化，将280MB的Transformer模型压缩至68MB，实现本地化低延迟多语种翻译。重点介绍INT8/INT4混合精度量化、逐通道量化、KL散度校准及结构化剪枝技术，兼顾精度与效率，适用于边缘AI设备部署。
ID3 用信息增益，C4.5 用增益率，CART 用二叉树路线，既能分类也能回归。更完整的回答是：先拿到训练数据，在当前节点枚举各种候选切分方式，再选择那个最能提升节点纯度的切分，然后递归重复，直到满足停止条件，最后必要时再做剪枝。你完全可以按下面这个顺序说：先给定义，再讲训练时如何选最优切分，再讲 ID3/C4.5/CART 的关系，最后补一句决策树容易过拟合，需要剪枝控制复杂度。它会把数据放在
她不再只是贴住你是否属于某一类，而是试着预测你“值多少”、“像多少”、“靠近多少”。她从建起第一棵回归树开始，学会用MSE判断你和她的距离。可她越是靠近，就越容易过拟合。于是她学会剪枝——有时候是提前判断、有时候是事后悔改——她终于开始像你一样思考：不是每一分靠近都值得，不是每一枝都非要长出。她剪去多余的枝干，只留下那一段能真正靠近你的路径。那棵回归树，终于成为她理解你最像的样子。
剪枝(Pruning)是一种模型压缩技术，旨在通过移除神经网络中不重要的权重或神经元来减少模型的大小和计算复杂度，同时尽量保持模型的性能。
在当今人工智能领域，大语言模型(LLM)的规模和复杂性呈指数级增长，这给模型的部署和推理带来了巨大的计算和内存挑战。本文将深入探讨大模型推理优化的前沿技术及实战应用，详细介绍量化、剪枝、蒸馏等核心方法的实际操作流程，帮助读者显著提升模型性能并降低资源需求，实现高效部署。
模型剪枝（Model Pruning）是一种深度学习模型压缩和加速技术，通过移除模型中冗余或不重要的部分（如权重、神经元、层等），减少模型的参数量和计算量，从而降低存储需求、加速推理，并保持尽可能接近原始模型的性能。剪枝特别适用于在资源受限的设备（如移动设备、边缘设备）上部署大型神经网络。一个使用PyTorch实现结构化通道剪枝的示例，展示如何对一个简单的CNN模型（基于MNIST数据集）进行通道
DeepSpeed 提供了一个强大的模型压缩库（DeepSpeed Compression），旨在通过多种压缩技术降低深度学习模型的内存占用、推理延迟和计算需求，同时尽量保持模型性能。该库特别适合大规模 Transformer 模型（如 LLaMA、BERT、GPT），支持分布式训练和推理环境。DeepSpeed 的压缩技术包括 层减少、权重量化、激活量化、剪枝（稀疏剪枝、行剪枝、头剪枝、通道剪枝
大型语言模型（LLM）的出现开启了人工智能的新纪元，在广泛领域实现了高级自然语言理解和生成。尽管 LLM 长期以来因其生成连贯文本的能力而受到认可，但最近的发展已催生出基于 LLM 的智能体，能够将语言输入映射到数字环境中的实际操作，这些代理可以与各种软件系统交互、执行命令并对其所在的软件生态系统产生实际影响。最初，软件 LLM 代理主要以应用程序编程接口 (API) 为中心，通过明确定义的编程接
随着深度学习模型在计算机视觉、自然语言处理等领域的广泛应用，模型规模呈指数级增长。例如，GPT-4参数量达到1.8万亿，这对计算资源和部署环境提出了严峻挑战。权重剪枝(Weight Pruning)作为模型压缩的核心技术，通过删除冗余参数实现模型轻量化，同时保持性能稳定。
模型量化是指将深度学习模型中使用高精度浮点数（例如FP32、FP16）来表示的权重和激活值（模型中持续更新的输入通常被称为激活值）转换为低精度的整数（INT8、INT4）的过程，能够起到压缩模型、加速推理的作用。目前主流的量化技术为训练后量化（Post-Training Quantization，PTQ），PTQ在模型完成训练后直接对权重和激活值进行低精度转换，无需重新训练或微调。
标题：KARMA：利用多智能体LLM实现自动知识图谱增强。
本文提出了一种基于Kolmogorov-Arnold Network（KAN）的齿轮箱故障诊断方法。通过滑动窗口从振动信号中提取40维统计特征，利用KAN网络进行故障分类。与传统神经网络不同，KAN将可学习的B样条激活函数置于网络边上，实现了更好的可解释性。实验结果表明，KAN在短窗口数据下表现最优，并能直观展示各特征对诊断结果的影响。通过特征重要性分析和剪枝验证，KAN能有效识别关键故障特征，为
1.决策树核心是 “分而治之”：分类树用基尼 / 信息熵选特征，回归树用 MSE 选特征，单变量树轴平行切分，多变量树支持特征组合切分； 2.剪枝是解决决策树过拟合的关键：预剪枝（限制深度）简单高效，后剪枝（ccp_alpha）更精准； 3.决策树的最大优势是可解释性：能提取 “if-else” 规则，这是深度学习等黑箱模型不具备的核心特点。
后剪枝的操作顺序是 从叶节点→内部节点→根节点，逐层向上检查每个子树是否需要剪枝，具体步骤如下：确定剪枝候选对象，遍历完整决策树的所有非叶节点（即内部节点），把每个内部节点及其下属的所有分支看作一个 “待剪枝子树”。1）如果 操作 B 的误差 ≤ 操作 A 的误差：说明剪掉该分支后，模型在验证集上的性能没有下降，甚至更好，此时执行剪枝（保留操作 B 的叶节点）。将该子树的根节点（内部节点）直接替换
低秩适配（LoRA）是广泛应用的参数高效微调（PEFT）方法，但在大规模模型中，LoRA 仍面临较高的计算和存储成本。以往的研究通过剪枝技术来解决这一问题，通常基于参数特征（如数量、规模、梯度等）评估其重要性。然而，LoRA 的输出会直接影响微调后的模型性能，初步实验表明，部分 LoRA 模块的输出值显著偏高，对层输出产生了较大影响。为此，我们提出了LoRA-drop 方法：通过评估 LoRA 输
上周三凌晨两点，我盯着终端里那个报错发呆——一块A100 80G显存，跑一个7B的LLaMA推理，居然OOM了。检查了半天，发现是模型加载时把KV cache的max_seq_len设成了4096，加上batch size 4，显存直接炸穿。同事在旁边说：“要不换个更小的模型？”我摇头，业务场景要求必须保留这个特定微调后的能力。那晚我翻出了压箱底的模型压缩方案，最终把模型体积砍掉60%，推理速度提
举个例子，它的Cart组件能独立抽出来用，哪怕你只是想做个简单的购物车功能，也不用被整个框架绑架。但用Sylius，我们直接基于它的Order和Shipping模块做二次开发，代码量少了三分之一，还省去了不少冗余校验。有个客户要做多渠道销售，网站、小程序、第三方平台共享同一套库存，我们用Sylius的API把商品数据同步到不同终端，省去了重复开发的麻烦。总之，Sylius不是那种“装好就能用”的框
最近在做智慧城市的项目，被密集场景下的目标检测折磨得不轻。停车场里密密麻麻的车、商场里人来人往的人群、还有显微镜下的细胞图像，YOLOv10在这些场景下表现总是不尽如人意——漏检严重，尤其是重叠目标，小目标更是直接“隐身”。网上搜了一圈，发现大家都遇到类似的问题。有人提议增大输入分辨率，但显存扛不住；有人建议用更大的模型，但实时性就没了。后来我翻了翻Transformer在目标检测中的应用，发现一
大家好，我是一名边缘计算方向的研究生，最近在做一个无人机视觉识别的项目，需要把YOLOv10部署到Jetson Orin NX上。模型精度和推理速度的平衡折磨了我快两个月，最后在4比特整型量化上找到了突破口。今天就把踩过的坑和优化经验分享出来，希望对有类似需求的朋友有帮助。为什么选择4比特量化？先说说背景。YOLOv10官方权重是FP32的，在Jetson Orin NX上跑640x640输入，大
最近在做目标检测的轻量化工作，选的是YOLOv10这个新出的模型。说实话，v10确实比v8、v9快了不少，但上手机器人这种边缘设备还是有点吃力。尝试过TensorRT加速，效果还行，但总感觉还能再压一压。后来翻了不少剪枝的论文，发现通道剪枝这个方法简单粗暴效果好，就决定拿YOLOv10开刀了。断断续续折腾了两周，总算跑通了一套完整的流程。这篇文章不聊虚的，直接上代码和踩坑记录。数据集我用的是Vis
大家好，最近在做模型轻量化的时候踩了不少坑，今天想把一个我觉得效果还不错的方法分享出来——层自适应幅度剪枝在YOLOv10上的应用。这个方法我们跑了好几个月，中间各种调参和debug，总算整理出一套比较稳定的方案。先交代一下背景。我们团队主要做边缘端目标检测，设备是Jetson Orin和树莓派这种算力有限的平台。YOLOv10确实快，但原版nano模型部署上去推理延迟大概在30ms左右，虽然勉强
本文系统介绍了深度学习模型压缩的四大核心技术。量化通过降低数值精度（FP32→INT8/INT4）压缩模型，包括训练后量化、量化感知训练和动态量化三种方式。蒸馏利用大模型（Teacher）指导小模型（Student）学习，分为硬标签蒸馏和软标签蒸馏，通过温度参数传递类别间的暗知识。剪枝移除冗余参数或结构，分为非结构化和结构化剪枝，需配合微调恢复精度。LoRA通过低秩矩阵分解实现参数高效微调。文中包
MATLAB代码：储能参与调峰调频联合优化模型关键词：储能 调频 调峰 充放电优化 联合运行仿真平台：MATLAB+CVX 平台主要内容：代码主要做的是考虑储能同时参与调峰以及调频的联合调度模型，现有代码往往仅关注储能在调峰方面的能力，而实际上同时参与调峰调频将超线性的提高储能的收益，在建模方面，构建了考虑电池退化成本、充放电功率约束以及用户负荷不确定性的储能优化模型，整体复现结果和文档一致，该代
本文提出CPDATrack，一种新型Transformer跟踪框架，通过上下文感知Token剪枝(CTP)和判别式选择性注意力(DSA)解决现有方法的计算冗余和干扰问题。CTP模块在剪枝背景Token的同时保留目标周围上下文信息，防止语义丢失；DSA机制则抑制背景和干扰物的注意力贡献。实验表明，该方法在LaSOT等数据集上FLOPs降低37%的同时性能优于基线模型。核心创新在于"先保全后
本文介绍了语音深度学习的基础知识和关键技术，主要包括语音信号处理和深度学习模型应用。首先讲解了语音信号的物理特性、数字化过程及时频分析方法，包括STFT和梅尔频谱。接着详细介绍了常用语音特征提取方法，如MFCC及其差分特征。在语音识别部分，重点阐述了CTC和Attention两种核心机制的原理与实现，并提供了PyTorch代码示例。文章涵盖语音识别、合成等任务，适合具备Python和深度学习基础的
非结构化剪枝（Unstructured Pruning）：随机删除单个权重值，适合量化+稀疏计算加速。结构化剪枝（Structured Pruning）：按通道/层整体移除，便于硬件加速器利用（如TensorRT、OpenVINO）。我们重点讲解结构化通道剪枝（Channel Pruning），因为它更适合工业级部署场景！# 示例：原始卷积层结构（假设为Conv2d）# ... 其他模块略```
本文介绍了神经网络模型压缩的三种主要技术：量化、剪枝和蒸馏。量化通过降低参数精度（如32位到16位）来减小模型体积和提升计算效率；剪枝通过去除不重要的权重或节点来精简模型结构；蒸馏则将大模型（教师模型）的知识迁移到小模型（学生模型）中。这些技术能显著减少模型对计算资源的需求，使其更适合部署在手机等资源受限设备。但压缩过程可能影响模型性能，需根据具体场景权衡取舍。文章还探讨了各项技术的优化策略，如量
译文翻译：[ECCV 2024] Isomorphic Pruning for Vision Models
本文详细介绍了YOLOv8n模型的剪枝优化过程。首先针对RK3399平台运行效率低的问题，通过L1正则化进行稀疏化训练，使模型参数稀疏化。然后采用结构化剪枝方法，基于BN层权重分析确定剪枝阈值，逐步裁剪冗余通道。剪枝后进行了微调训练以恢复精度，最终模型参数量和计算量显著降低（GFLOPs从8.0863降至更低水平）。文中提供了完整的剪枝代码实现，包括稀疏训练、通道裁剪、模型微调等关键步骤，并对比了
想象一下园丁修剪果树。为了确保养分集中供给主要的果实，园丁会剪掉那些交叉的、病弱的或过密的枝条。神经网络的剪枝与此异曲同工。研究表明，神经网络中超过60%的连接权重可能接近于零，它们对最终的预测结果贡献甚微。剪枝的目标就是识别并移除这些不重要的参数。
摘要：本文系统探讨红外小目标检测技术，分析其成像机理与特性，重点综述基于深度学习的检测方法。研究显示，YOLO和SSD系列算法通过多尺度改进显著提升检测精度，而CNN方法中多尺度特征融合与注意力机制表现突出但计算成本较高。针对数据稀缺等问题，Transformer架构与小样本学习展现出互补优势。未来趋势包括：物理模型与深度学习的异构融合、轻量化编解码设计、多模态协同检测等创新方向，以推动该技术向高
数据分析能够将海量的数字信息转化为洞察力和行动力，帮助企业在日益激烈的市场竞争中做出精准决策，优化运营效率，提升客户体验，并发掘新的增长点。在过去二十年里，企业越来越多的依赖于数据驱动的决策，也一直在努力降低数据分析产品的使用门槛，使越来越广泛的用户获得以前只有数据分析师和数据科学家才具备的能力。从发展阶段上看，数据分析产品经历了从报表式分析到自助式分析的演进，并在大模型技术的推动下，正式进入智能
yolov8 剪枝
[NOIP2002 普及组] 选数题目描述已知 nnn 个整数 x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn，以及 111 个整数 kkk（k<nk<nk<n）。从 nnn 个整数中任选 kkk 个整数相加，可分别得到一系列的和。例如当 n=4n=4n=4，k=3k=3k=3，444 个整数分别为 3,7,12,193,7,12,193,7
来源：机器之心本文约2000字，建议阅读5分钟OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性..
播棋（Mancala），或译非洲棋，阿拉伯语是搬运的意思，是一种两人对弈的游戏，特色是如播种般过程不断搬移宝石一一放入进盘中，普遍流行于非洲国家。Mancala包括14个盘，其中两个是记分盘，另外12个则分配给两个玩家。开始游戏时，在12个非记分盘中分别放置了四个宝石。玩家通过选择六个含有宝石的非计分盘中的一个来进行移动。选中的盘子中的所有宝石都被捡起，然后将每块宝石一次性放置在下一个盘子中，以逆
本文介绍的算法：极小-极大值搜索、负极大值函数、Alpha-Beta剪枝算法、渴望算法、极小窗口搜索
一、 概述现在我们也知道，随着神经网络的高速发展，网络的规模和参数量也成为阻碍神经网络应用的阻碍，因此神经网络应运而生。二、剪枝剪枝在我的理解就是，神经网络其实存在着很大的冗余，有很多层，通道以及参数都是对网络正确推理结果没有影响或者说影响可以忽略不记的。那这样的层，通道和参数就是没用意义的，只是浪费我们的存储空间以及推理速度。这里我就简单介绍几种我这段时间学习的几种不同的剪枝方法。剪枝按颗粒度划
剪枝
——剪枝
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AtomGit开源社区
全球具身智能开发者社区
脑启社区
快递鸟社区
腾讯云开发者社区
