登录社区云，与社区用户共同成长
邀请您加入社区
GESP五级大纲讲解
随着大语言模型的成功，多模态大模型通过整合视觉、文本和其他模态的信息，显著提升了多模态任务的表现。然而，视觉 token 数量的快速增长导致计算复杂度呈二次方增长，严重制约了模型的可扩展性和部署效率。本文针对这一问题，以 LLaVA 为例，分析了视觉计算中的冗余性，并提出了一系列高效的剪枝策略，包括邻域感知的视觉注意力、非活跃注意力头的剪枝、稀疏前馈网络投影和选择性丢弃视觉层。实验表明，这些方法在
【代码】金额查错---1.dfs来模拟过程，记忆化无法剪枝 2.set来记录情况 3.巧妙return俩更新。
本文介绍了如何将YOLO模型的终端输出转换为可视化网页界面。作者通过HTML/CSS/JS搭建了一个检测结果展示页面，主要解决了三个关键问题： 数据转换：将终端输出的坐标和置信度数据转换为可视化元素 界面设计：包含图片展示区、检测框绘制和结果列表，采用响应式布局 交互功能：支持图片上传、摄像头调用和示例加载 核心实现包括： 使用绝对定位的div元素绘制检测框 通过CSS媒体查询实现响应式布局 Ja
我们提出了网络瘦身技术来学习更紧凑的CNN。它直接对批量归一化层中的缩放因子施加稀疏性引起的正则化，因此可以在训练过程中自动识别不重要的通道，然后进行修剪。在多个数据集上，我们已经证明所提出的方法能够显着降低最先进网络的计算成本（高达20倍），并且不会损失准确性。更重要的是，所提出的方法同时减少了模型大小、运行时内存、计算操作，同时为训练过程引入最小的开销，并且生成的模型不需要特殊的库/硬件来进行
文章摘要：本文系统梳理了神经网络剪枝技术的完整脉络。首先指出过参数化现象是剪枝的动机，解释了经典三阶段剪枝流程（训练-剪枝-微调）。详细对比了非结构化剪枝（细粒度但硬件不友好）和结构化剪枝（硬件友好但粒度粗）的优缺点，介绍了NVIDIA 2:4稀疏方案。重点讨论了重要性判据（幅值、梯度、激活值等）和剪枝时机（训练后/中/初始化）。针对LLM时代的新挑战，深入分析了SparseGPT（二阶补偿）和W
摘要： 在边缘设备部署YOLOv5时，模型推理速度从PC端的30ms骤降至300ms，亟需优化。模型剪枝成为关键解决方案，通过移除冗余参数（如低激活值的卷积核）来提升效率。实战中，基于BN层Gamma值的通道剪枝效果稳定，剪枝后需微调以恢复精度。部署时需注意推理引擎对稀疏模型的支持差异，如TensorRT默认不支持稀疏计算。经验教训包括：逐步剪枝、处理残差连接、保护敏感层等。剪枝是工程手艺，需结合
冷链物流车辆路径优化，遗传算法车辆路径优化，模糊时间窗车辆路径，软时间窗路径优化 ，考虑客户满意度路径优化，软时间窗，软硬时间窗路径优化问题vrp问题，考虑到碳排放的路径优化，绿色路径优化，绿色vrp。冷链物流车辆路径优化，遗传算法车辆路径优化，模糊时间窗车辆路径，软时间窗路径优化 ，考虑客户满意度路径优化，软时间窗，软硬时间窗路径优化问题vrp问题，考虑到碳排放的路径优化，绿色路径优化，绿色vr
模型剪枝是一种优化神经网络的技术，通过移除不重要的权重或神经元来降低模型的复杂度，同时尽量保持其性能。本文基于经典论文《Learning Efficient Convolutional Networks through Network Slimming》实现模型剪枝，主要步骤包括训练模型、剪枝和再次训练。剪枝过程中，BatchNorm（BN）和L1正则化是关键。BN通过标准化特征图，缓解内部协变量
在序列到序列（Sequence-to-Sequence）任务中，Encoder-Decoder架构是解决机器翻译、文本摘要等问题的经典方案。本文将从核心逻辑到代码实现，层层递进地解析基于RNN的编码器（Encoder）和解码器（Decoder），帮助读者快速理解其设计思路与工作原理。input_size：输入词汇表大小（如源语言有5000个不同单词）。：特征维度（如256），统一词嵌入和RNN的维
训练开始，由于服务端不知各客户端的能力，服务端会发送相同初始模型给各个客户端，但由于不同客户端之间存在异质性，所以服务端收到更新后的模型时，会根据不同客户端的更新时间间隔自适应生成剪枝率发送给客户端。客户端收到后根据剪枝率剪枝模型，生成局部模型，客户端用其子模型进行训练，并将子模型发送到服务器进行聚合。缺乏针对子模型以实现全局准确性定制的研究：现有研究只关注剪枝后的子模型的准确性，而非聚合后的全局
有趣的是，我们发现，如果“遗忘”在神经元级别进行，而“恢复”在过滤器级别进行，那么网络倾向于重新定位后门神经元，以补偿因“遗忘”而失去的干净特征造成的损失。然后可以从网络中轻松剪枝这些后门神经元。Fine-pruning是一种传统的剪枝方法，从被后门攻击的模型中剪枝那些小范数的神经元，而NAD（Li等人，2021c）采用微调后的模型作为教师来蒸馏被后门攻击模型的神经元。与ANP使用的对抗性扰动技术
本文探讨了大模型部署的挑战与优化技术。文章首先分析了大模型从训练到部署面临的五大挑战：内存墙问题、计算延迟、并发压力、成本控制和可扩展性。随后介绍了部署优化的技术演进过程，从全量部署到量化压缩、模型蒸馏再到混合部署。重点深入解析了模型量化技术，包括量化的基本原理、对称与非对称量化的区别、以及动态量化与静态量化的实现方法。文章通过代码示例展示了量化误差分析、量化参数校准、以及量化模型性能评估等关键技
当3.8%的精度损失收敛至0.2%，当150ms的推理延迟压缩至36.2ms——CANN全链路压缩引擎正在将“精度悬崖”转化为“效率绿洲”。真正的压缩智慧，是让模型在资源约束下依然保持灵魂的完整与优雅；真正的工程温度，是在每一比特的精打细算中传递对用户的尊重，在每一次绿色优化中承载对地球的责任。ops-nn仓库中的每一位“AI雕塑家”，都在为智能与资源的完美平衡铺就道路。你的模型压缩之旅“最好的压
CANN生态中的omg-model-optimizer提供先进的模型剪枝技术，通过移除不重要参数实现模型压缩。摘要要点： 剪枝类型包括非结构化（移除单个参数）和结构化（移除整个通道） 算法实现包括重要性评估、参数移除和渐进式剪枝策略 精度优化采用剪枝后微调技术恢复模型性能 工具提供多种重要性评估方法（幅值/梯度/泰勒展开） 收益包括显著减小模型体积（50%-90%）、提升推理速度（2-4倍） 该优
当3.8%的mAP损失压缩至0.9%，当41%的稀疏利用率跃升至92%——CANN全链路剪枝引擎正在将“剪枝焦虑”转化为“稀疏自信”。真正的剪枝智慧，是让删除的每一处都精准服务于加速；真正的工程温度，是在每一次通道裁剪中看见产线的脉搏，在每一处稀疏留白中听见效率的回响。ops-nn仓库中的每一把“智能刻刀”，都在为智能与硬件的完美共舞铺就道路。你的剪枝优化之旅4️⃣ 贡献方案：提交经硬件实测的剪枝
当3.9%的精度损失压缩至0.48%，当1.2x的加速比跃升至3.9x——CANN全链路剪枝引擎正在将“剪枝焦虑”转化为“压缩自信”。真正的剪枝智慧，是让稀疏结构在精度与速度间精准平衡而不失衡；真正的工程温度，是在每一次块稀疏设计中看见硬件的脉搏，在每一处关键层保护中听见质量的回响。ops-nn仓库中的每一位“神经雕塑家”，都在为智能与能效的完美融合铺就道路。你的剪枝压缩之旅“最好的剪枝，是让模型
当342MB的模型瘦身至28.7MB，当387ms的延迟压缩至14.3ms——CANN全链路轻量化引擎正在将“落地焦虑”转化为“端侧自信”。真正的压缩智慧，是让模型在方寸之间绽放智能光芒；真正的部署温度，是在每一毫瓦功耗中听见用户体验的心跳，在每一次OTA更新中传递持续进化的承诺。ops-nn仓库中的每一位“AI瘦身大师”，都在为智能与终端的完美融合铺就道路。你的压缩部署之旅“最好的压缩，是让模型
摘要： 本文探讨了YOLOv11模型在边缘设备部署时的内存优化策略，重点介绍了结构化剪枝方法。通过分析BN层gamma系数确定剪枝目标，详细说明了模型重建过程中的关键点（如深度可分离卷积的groups参数调整）以及剪枝后的微调技巧（学习率重置、分层训练等）。文章提供了完整的Python实现代码，包括敏感度分析、剪枝阈值计算和权重复制逻辑，特别强调了在资源受限环境下部署时的注意事项和常见陷阱。
摘要： 分组卷积虽能减少计算量，但实际部署中存在诸多陷阱。测试发现，非2的幂次分组会破坏推理引擎优化，导致速度下降40%；通道隔离还会降低检测精度（如YOLO中mAP下降2.3%）。通道混洗虽能缓解信息割裂，但易引发内存对齐问题，需与卷积融合为定制算子。工程实践中，分组数选择、量化参数设置（需逐组独立）、跨平台兼容性等问题尤为关键。建议：中间层用小组数（2/4），监控cache命中率而非仅FLOP
决策树（Decision Tree）是机器学习中最经典的一类分类模型。它的优势非常直接：规则清晰、可解释性强、上手门槛低；与此同时，它也有一个非常典型的问题，那就是容易过拟合。这也是学习 DecisionTreeClassifier 的意义所在。学习决策树，不只是学会调用一个分类器，更是在理解监督学习中的几个核心问题：模型如何利用特征逐步完成分类，什么是节点纯度，为什么它决定了划分效果，以及为什么
我带你从 main.c 的第一行开始，沿着中断采样→坐标变换→磁链估算→速度估算→电流/速度双闭环→SVPWM 发波的完整路径，把“每一句 C 语句到底解决了什么问题”说清楚。1. 基于“电压模型+电流模型”的磁链观测器，实现转子磁场定向控制（FOC），可实现电机在低速、中高速段的高精度的转速估算；1. 基于“电压模型+电流模型”的磁链观测器，实现转子磁场定向控制（FOC），可实现电机在低速、中高
写这篇文章时我正盯着新装的智能电表发呆——它刚发出“电压不稳定”的警告，而窗外的梧桐树确实在风中摇晃。或许这就是智能运维的魅力：它永远在“过度诊断”和“误诊”之间走钢丝，就像我们这些从业者，在代码和螺丝钉之间寻找平衡。（最后坦白：文章开头说的“2023年”确实是笔误，我改完第三遍又写错了...智能校对系统也没发现，建议加个“年份敏感词检测”功能）
模型压缩技术综述：让大模型"瘦身"运行 本文系统介绍了三种主流模型压缩技术：量化、知识蒸馏和剪枝。量化通过降低数值精度（如FP32转INT8），在BERT模型上实现了62.8%的体积缩减和82.4%的速度提升；知识蒸馏采用"教师-学生"模式，将BERT的知识迁移到BiLSTM，使学生模型体积缩减至26.7%而精度仅下降2.39%；剪枝则通过删除冗余权重，以约
第一次跑闭环时，DSP的CLA协处理器突然发疯，把PWM占空比锁死在98%。这玩意儿真是把DSP和MCU的优势结合得挺到位，特别是做数字电源控制时，12位ADC和PWM死区控制玩起来贼溜。最终算出来的Lr=35uH，Cr=22nF时，实测波形终于能看到漂亮的ZVS了。先看主拓扑硬件计算这块。有回把DBRED设成0，结果下管直通瞬间炸出烟花，示波器抓到的电流尖峰高达50A，直接给电流互感器干怀孕了。
本文深度解读AAAI 2025 FIPE 的理论创新（功能等价性建模、NP-hard 问题高效求解）与工程实现细节，结合 House-16H 数据集的复现实验，剖析不同模型、范数、参数配置下的压缩效果与效率差异，为开发者提供从理论理解到代码复现的完整指南，助力这一 “免费压缩” 技术在实际项目中落地应用。
基于深度强化学习的混合动力汽车能量管理策略 ，混动汽车能量管理模型，混合动力汽车能量管理1.利用DQN算法控制电池和发动机发电机组的功率分配2.状态量为需求功率和SOC，控制量为EGS功率t913.奖励函数设置为等效油耗和SOC维持4.可以将DQN换成DDPG或者TD3嘿，各位汽车技术爱好者们！今天咱们来聊聊超火的混合动力汽车能量管理。混动汽车可是当下汽车领域的热门，它结合了燃油发动机和电池电机的
摘要 本章系统介绍了深度学习模型压缩与加速的核心技术，包括模型剪枝、量化、知识蒸馏和低秩分解等方法。针对Python 3.10+和PyTorch 2.0+环境，提供了完整的代码实现，重点讲解了幅度剪枝和迭代剪枝的算法原理与PyTorch实现。通过建立剪枝掩码和逐步微调等技术，可有效压缩模型规模并保持性能。文章还涵盖了2025年最新的AWQ、GPTQ等大模型量化技术，为将大型神经网络部署到资源受限设
补充说明：当下主流的Agent框架，基本都是以ReAct为核心基础，再叠加Plan-and-Execute的规划能力、Reflection的纠错优化能力，组合成更强大的智能体。
大型语言模型（LLMs）性能强劲，但由于内存和计算成本高昂，部署难度较大。尽管剪枝技术可降低这些需求，大多数方法却忽略了运行时观察到的激活稀疏性。本文将激活稀疏性重新诠释为动态结构化权重稀疏性，并提出 DuoGPT——一个统一框架，通过结合非结构化权重剪枝与激活稀疏性，构建双稀疏（spMspV）工作负载。为保证精度，我们通过激活感知校准扩展了最优大脑压缩（OBC）框架，并引入密集模型的输出残差作为
这个模型主要涉及结构力学和静电场的压电效应耦合。通过这个耦合模型，我们能获取压电材料模型中的电势、电场、位移以及应力场分布，从多个维度来了解压电材料在不同条件下的行为。压电材料有着独特的材料属性，我们需要准确地在Comsol中进行定义。压电常数、弹性常数、介电常数等参数都对模型的准确性起着关键作用。// 定义压电常数矩阵// 这里的d15和d33是根据实际材料确定的具体数值// 定义弹性常数矩阵（
本文解析了LeetCode全排列问题，通过递归回溯法生成所有不重复排列。算法使用决策树模型，通过标记数组避免重复选择，递归过程中维护路径列表，当路径长度等于输入数组长度时保存结果。关键点包括：递归出口判断、数字状态标记与恢复、回溯时的剪枝处理。代码实现采用全局变量记录结果和路径，通过深度优先搜索（DFS）遍历所有可能排列，最终返回符合条件的二维结果数组。
最近突然想深入了解一下大模型的剪枝技术，于是决定拿这个熟悉的模型开刀，用 PyTorch 官方的。掩码mask是这样一个概念，就是剪枝完之后不直接修改原模型权重，而是生成一个对应的mask矩阵，和原模型的参数矩阵耦合，让某些权重变成0。L1剪枝对于输出差异大的模型剪枝效果会好一点。加载模型的时候，剪枝过的模型的transformer和分词器从原来的地方加载，模型权重从工作目录加载。神奇的是，剪枝模
训练过程中，很多权重会收敛到很小的值或形成高度相关的表示；许多注意力头、FFN 中间维度、甚至某些层在特定任务或数据分布上贡献较小；大模型为了通用性与可迁移性，往往“留了很多余量”。剪枝的目标并不是随便删参数，而是寻找一种“近似等价”的更小模型：在保证输出不显著变化的前提下，让模型的有效自由度减少。你可能把矩阵WWW中的某些元素置零，但保留矩阵形状不变；从张量视角看，稀疏位置分布不规则（irreg
传统方法如Lottery Ticket Hypothesis（LT-H）需多次训练迭代，而结构化剪枝（如通道剪枝）依赖冗余的梯度计算。传统模型剪枝（Model Pruning）虽能有效压缩模型，但其计算开销常成为部署瓶颈——从权重重要性评估到稀疏化重构，往往需数分钟甚至数小时。当剪枝能在1毫秒内完成，AI的边界将不再受制于设备，而在于人类对技术的负责任想象。的突破：通过实时分析权重分布特性，自动调
直接训练小模型（如 YOLO26-Nano）：先天不足，架构设计时容量受限，上限低，难以学习复杂特征。后训练量化（PTQ）：简单粗暴，但在极低比特（INT4/INT8）下，对敏感层（如 Detect Head）损伤极大，容易导致小目标漏检。单一剪枝：剪掉通道后，网络结构破坏，特征表达能力下降，精度必然受损。✅ 最佳路径：剪枝重塑架构 + 蒸馏恢复能力剪枝（Pruning）：做减法。识别并移除对输出
剪枝
——剪枝
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
AI硬件创业社区
魔珐星云开发社区
开源鸿蒙跨平台开发者社区
AtomGit开源社区
快递鸟社区
2048 AI社区
昇腾开源生态专区
九章云极普惠算力
龙虾开发者社区
