登录社区云，与社区用户共同成长
邀请您加入社区
大语言模型（Large Language Model, LLM）正进入车载座舱、手机出行应用与旅行规划智能体等出行场景，但云端推理带来的网络依赖、尾时延、位置隐私与调用成本，使端侧或端云协同部署成为必要选择。现有量化、蒸馏与剪枝研究多以通用基准上的平均精度为目标，较少同时处理出行任务的时间窗、预算、开放时间、交通可行性等硬约束，以及长尾地点实体、长上下文、结构化工具调用和驾驶分心等特殊风险。
求第 3 万个质数，试除法跑了 52.5 亿次运算直接 TLE，只试到 √i 后内层从 35 万降到 591 次。埃氏筛把逐个判断换成批量划掉，i*i 起点漂亮但 350377² 会溢出 int，得写 1LL；欧拉筛一句 break 压到严格 O(N)。开关灯让我看清嵌套循环是维度分离，j+=i 删掉了取模判断。杨辉三角用滚动数组把空间从 O(n²) 降到 O(n)，关键在必须逆序更新；当依赖只跨
ultralytics\engine\trainer.py这个替换比较多，使用文件对比工具。配置文件修改：ultralytics\cfg\default.yaml第46行添加下面东西。
2.该程序采用s7以太网通讯方式，本人经过几个星期的测试，开发了一个通用类库可以读取写入各种类型的数据，字符串，bool，16位整数，32位整数，浮点数还有struct数据结构。2.该程序采用s7以太网通讯方式，本人经过几个星期的测试，开发了一个通用类库可以读取写入各种类型的数据，字符串，bool，16位整数，32位整数，浮点数还有struct数据结构。1.该程可以实现CSharp与西门子全系列p
原本接到一个项目，对方已经用魔改库（说是基于yolo11n改的，但是过于离谱，体积有14mb马上赶上yolo11s了，加了一堆乱七八糟不认识的模块）训练完了。我本身也是初学yolo，而且听之前朋友说模型蒸馏很有意义，遂尝试对这个魔改模型进行剪枝和蒸馏。
来决定是否使用训练好的最佳模型来剪枝，并进行微调。先进行模型训练，通过参数。
`step1_train()`：加载预训练模型并开始训练。- `step2_Constraint_train()`：在约束条件下进行训练，例如可能涉及到正则化或其他约束条件。- `step3_pruning()`：使用自定义的`do_pruning`函数对模型进行剪枝，以减少模型的复杂度。- `step4_finetune()`：微调剪枝后的模型。
Alpha-Beta剪枝算法是一种用于优化博弈树搜索的算法，可以在搜索过程中减少不必要的计算，从而提高搜索效率。该算法常用于博弈游戏，如六子棋。六子棋是一种类似于五子棋的棋类游戏，在一个六边形的棋盘上，两名玩家轮流放置棋子，目标是将自己的棋子连成一条线，线可以是直线、曲线或折线。在六子棋中，博弈树的规模非常大，因此使用Alpha-Beta剪枝算法可以有效地减少搜索空间。Alpha-Beta剪枝算法
剪枝有哪些方法首先, 选择剪枝的颗粒度：规律 or 不规则然后,选择在哪里剪枝：权重 or 结构其次，选择剪枝程度：计算量减少5倍？yolov7代码中的train.pytest.py要了解因为我们剪枝进行finetune的时候需要train()这个函数，prune的时候需要test()这个函数。
了解model.named_models，为剪枝做准备。剪枝有一些层如果你不想剪掉，那就用需要你会用 model.named_models功能。先放一段控制剪枝的代码，感受一下ignored_layers = [] # 这些层不剪枝。
2、稀疏化训练的值根据tensorboard的结果而定;3、剪枝如果报错，减少剪枝比例;1、权重路径根据实际情况修改；剪枝(yolov5s.ymal中要改种类)
yolov5剪枝
本文介绍了剪枝算法的基本概念及其在回溯法中的优化作用，通过两个蓝桥杯例题展示了剪枝的具体应用。剪枝通过在搜索过程中剔除不必要分支来降低时间复杂度，其效果取决于具体问题和策略。例题1展示了军训排队问题中剪枝前后的代码对比，例题2则演示了特殊三角形和多边形问题中如何利用剪枝优化搜索过程。文中提供了详细的代码实现和推导过程，展现了剪枝算法在实际问题中的应用价值。
决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果, 根节点尤为重要.熵在信息论中代表随机变量不确定度的度量。熵越大，数据的不确定性度越高, 稳定性越低熵越小，数据的不确定性越低, 稳定性越高CART决策树(Classification and Regression Tree)Cart模型是一种决策树模型，它即可以用于分类，也可
深度学习 ——5.剪枝、批量标准化
本文介绍了jasper c2rtl的剪枝特征
决策树；剪枝策略；ID3算法；C4.5算法；CART算法
周志华《机器学习》西瓜书 小白Python学习笔记（三） ————第四章 决策树 python代码预剪枝基于西瓜数据集2.0（提取码：esa8），选择信息增益作为属性选择指标，建立决策树。步骤如下：输入离散变量的取值集合与标签，并读取数据.D_keys = {'色泽': ['青绿', '乌黑', '浅白'],'根蒂': ['蜷缩', '硬挺', '稍蜷'],...
模型剪枝、量化、知识蒸馏核心区别
结构化剪枝是一种重要的模型压缩技术，能够在不显著降低模型性能的前提下，显著减少计算资源的需求。相比非结构化剪枝，它的优势在于能够更好地适配现有的硬件架构，从而实现更高效的推理。总结来说， 非结构化剪枝是一种细粒度的模型压缩技术，虽然在理论上可以实现更高的压缩率，但在实际应用中面临硬件支持不足的问题。因此，它通常与其他模型压缩技术结合使用，以达到最佳效果。
本文介绍了四种AI模型压缩技术，帮助大模型实现"瘦身"： 剪枝技术：通过移除不重要的网络连接（权重剪枝）或整个神经元（通道剪枝），可减少30-90%参数量，计算量减少但基本保持精度。 量化技术：将32位浮点数转换为8位整数，能减少75%存储空间，提升2-4倍推理速度，适合移动端部署。 低秩分解：将大矩阵分解为小矩阵相乘，大幅降低参数数量，保持网络功能但需权衡压缩率。 知识蒸馏：
本文解析了组合总和问题的两个变体：组合总和I和组合总和II。组合总和I要求从无重复元素的数组中找到和等于目标的组合，允许重复使用元素；组合总和II则针对可能包含重复元素的数组，且每个元素在每个组合中只能使用一次。通过回溯算法，结合排序剪枝和去重处理，可以有效解决这两个问题。文章详细介绍了代码实现、复杂度分析及关键点解析，帮助读者理解剪枝与去重的原理，并提供了常见问题的解答，便于举一反三处理类似问题
专题三 ：穷举VS暴搜VS深搜VS回溯VS剪枝 全排列、子集
【递归，搜索与回溯算法 & floodfill 算法】深入理解 floodfill 算法小专题：1. 图像渲染；2. 岛屿数量；3. 岛屿的最大面积；4. 被围绕的区域；5. 太平洋大西洋水流问题；6. 扫雷游戏；7. 机器人的运动范围；
torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)： 用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会
模型剪枝：模型剪枝是一种通过移除模型中“不必要”的权重或神经元来减少模型参数数量的技术。这些“不必要”的权重或神经元通常对模型的预测性能贡献较小。剪枝技术可以分为细粒度剪枝、粗粒度剪枝和结构化剪枝等，旨在通过减少模型的大小和计算量来提高模型的效率和速度。权重共享：权重共享是指在神经网络的不同位置或不同层次上使用相同的权重参数。这种技术通常应用于卷积神经网络（CNN）中，通过共享权重参数来减少模型的
模型剪枝是一种模型压缩技术，它通过移除神经网络中的“不必要”权重或偏差（weight/bias），减少模型的大小和计算量，从而提高模型的效率和速度。剪枝的主要目的是在保持模型性能的前提下，降低模型的复杂度和资源消耗。
小蓝刀功了得，他可以把任何瓜劈成完全等重的两份，不过每个瓜只能劈一刀。，用一个空格分隔，分别表示瓜的个数和小蓝想买到的瓜的总重量。，相邻整数之间使用一个空格分隔，分别表示每个瓜的重量。请问小蓝至少要劈多少个瓜才能买到重量恰好为。面对高指数搜索时有一种降低指数大小的方法——小蓝正在一个瓜摊上买瓜。小蓝希望买到的瓜的重量的和恰好为。计算一下发现算法复杂度有问题。输入的第一行包含两个整数。个瓜，每个瓜的
洛谷P1433——dfs最优性剪枝与位运算状压dp。值得积累的好题。
L2求导为θ，当参数特别大时，参数更新的梯度也大，当参数特别小时，参数更新的梯度也小。L2可以每个参数都变小但是不至于变成0，这样可以减少模型的复杂度，防止模型拟合数据中的噪声。L1在反向传播，梯度更新的时候梯度下降的步长衡为1，在参数更新的时候很多参数都学成了0，因此能达到稀疏的目的。在神经网络的卷积操作之后会得到多个特征图，通过策略突出重要的特征达到对网络瘦身的目的。sigmoid函数在神经网
🥳🥳回溯可以理解为：通过选择不同的岔路口来通往目的地（找到想要的结果）1.每一步都选择一条路出发，能进则进，不能进则退回上一步（回溯），换一条路再试2. 树、图的深度优先搜索（DFS）、八皇后、走迷宫都是典型的回溯应用。
回溯算法及剪枝理论基础模板框架实例思路剪枝回溯算法的本质是暴力穷举，即使用递归控制for循环嵌套的数量，本身不是一个高效的算法。尽管可以使用剪枝来提高效率，但是还是改不了穷举的本质。回溯法，一般用来解决组合，排列，切割，子集，棋盘等问题。理论基础回溯法也就是使用递归函数进行解决问题，精髓是使用递归控制for循环嵌套的数量。解决问题的过程可以抽象为树形结构，即一颗高度有限的树（N叉树）。从根节点一直
X星球的机器人表演拉拉队有两种服装，A和B。他们这次表演的是搭机器人塔。类似：AB BA B AA A B BB B B A BA B A B B A队内的组塔规则是：A 只能站在 AA 或 BB 的肩上。B 只能站在 AB 或 BA 的肩上。你的任务是帮助拉拉队计算一下，在给定A与B的人数时，可以组成多少种花样的塔。输入一行两个整数 M 和 N，空格分开（0<M,N<500）,分别表
Pruning Filters for Efficient Convnets是 ICLR 2017的一篇文章，属于filter pruning，论文链接。本质思想：用weight值的大小来评判filter的重要性，对于一个filter，对所有weight的绝对值求和（求L1范数），作为该filter的评价指标，排序结果并将一层中值低的filter裁掉。1.PRUNING FILTERS AN...
SlimYOLOv3：Narrower，Faster and Better for Real-Time UAV Application这篇文章是针对Yolov3做模型剪枝的，开始给出典型的模型剪枝方法流程，如图。其次，给出针对yolov3的模型剪枝流程，如图什么是深度模型的剪枝？就像论文名字中的更窄（Narrower），它是要减少模型通道数。去除每个卷积层中不重要的特征通道。所以需要合...
本文系统讲解了LeetCode 15. 三数之和的解题思路，从暴力枚举到双指针优化。暴力解法使用三层循环和HashSet去重，时间复杂度为O(n^3)。优化解法通过排序数组、双指针和剪枝将复杂度降至O(n^2)。关键点包括：排序固定顺序、双指针移动策略、i和左右指针的去重处理，以及边界控制。文章详细分析了去重的三种类型和剪枝原理，帮助读者深入理解这道经典题目。
本课程在YOLOv8 v8.1版本代码的基础上增加Network Slimming剪枝方法，在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程，并讲解原代码针对剪枝的修改和增加部分。
回溯回溯（Back Tracking）提出八皇后问题（Eight Queens）初步思路一：暴力出奇迹初步思路二：根据题意减少暴力程度初步思路三：回溯法（回溯+剪枝）四皇后 - 回溯法图示八皇后 - 回溯法图示n皇后实现合法性检查从某一行开始摆放皇后摆放所有皇后打印n皇后 - 完整实现n皇后优化 -合法性检查优化合法性检查优化 O(n) -> O(1)完整实现n皇后优化 - 位运算lee..
模型压缩技术正经历从孤立优化到协同作战剪枝为量化扫平结构障碍1bit量化突破存储边界蒸馏训练实现知识高保真迁移开发者行动指南中小模型：首选LLM-Shearing剪枝（HuggingFace已集成）千亿模型：采用SparseGPT+OneBit组合边缘设备：部署TensorRT优化后的1bit引擎当70B模型能在手机端流畅运行，当AI推理成本降至百分之一——模型压缩不仅是技术，更是普惠AI的基石。
在自然语言处理领域，BERT模型就像是一个超级大英雄，它在很多任务中都表现得非常出色。但是，这个大英雄也有一个小毛病，就是它的“身体”太庞大了，运行起来需要很多的资源，速度也比较慢。我们这篇文章的目的就是要想办法给BERT模型“减肥”，使用剪枝技术把它不需要的部分去掉，让它变得更轻便，同时还能保持它的超能力，也就是性能。我们会详细介绍剪枝技术的原理、操作步骤，以及在实际项目中的应用。这篇文章适合对
在本文中，我们强调了校准数据在LLM训练后剪枝中发挥的关键作用。通过系统的探索，我们证明了与原始训练数据相似的校准数据可以获得更好的剪枝性能。为了解决实际场景中难以获取的训练数据的挑战，我们提出了一种自生成的合成校准数据策略，该策略可以有效地为LLM构造合适的校准数据。实验结果表明，我们的方法显著优于现有的常用校准数据。我们坚信，校准数据作为训练后剪枝的重要组成部分，仍具有进一步研究的巨大潜力。
不同于模型量化对每一个权重参数进行压缩，稀疏化方法是尝试直接“删除”部分权重参数。模型剪枝的原理是通过剔除模型中 “不重要” 的权重，使得模型减少参数量和计算量，同时尽量保证模型的精度不受影响。
剪枝算法知识点整理
shared mem 只在block内共享，device glob mem能够所有线程共享。
经过剪枝操作后的模型，原始的参数存放在了weight_orig中，对应的剪枝矩阵存放在weight_mask中, 而将weight_mask视作掩码张量，再和weight_orig相乘的结果就存放在了weight中。局部剪枝只能以部分网络模块为单位进行剪枝，更广泛的剪枝策略是采用全局剪枝(global pruning)，比如在整体网络的视角下剪枝掉20%的权重参数，而不是在每一层上都剪枝掉20%的
简介模型剪枝就是根据神经元的贡献程度对网络中的神经元进行排名，可以从网络中移除排名较低的神经元，从而形成一个更小、更快的网络模型。基本思想示意图：模型剪枝根据神经元权重的L1/L2范数来进行排序。剪枝后，准确率会下降，网络通常是训练-剪枝-训练-剪枝（trained-pruned-trained-pruned）迭代恢复的。如果我们一次剪枝太多，网络可能会被破坏得无法恢复。所以在实践中，这是一个迭代
题目描述把1~16的数字填入4x4的方格中，使得行、列以及两个对角线的和都相等，满足这样的特征时称为：四阶幻方。四阶幻方可能有很多方案。如果固定左上角为1，请计算一共有多少种方案。比如：12 15 1612 1435137 1048 1169以及：1 12 1382 147 11153 10616549就可以算为两种不同的方案。输出请提交左上角固定为1时的所有方案数字刚开始，以为又是水题，然后…原
问题描述X星球的一处迷宫游乐场建在某个小山坡上。它是由10x10相互连通的小房间组成的。房间的地板上写着一个很大的字母。我们假设玩家是面朝上坡的方向站立，则：L表示走到左边的房间，R表示走到右边的房间，U表示走到上坡方向的房间，D表示走到下坡方向的房间。X星球的居民有点懒，不愿意费力思考。他们更喜欢玩运气类的游戏。这个游戏也是如此！开始的时候，直升机把100名玩家放入一个个小房间内。玩家...
剪枝
——剪枝
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
北京朝阳AI社区
openEuler 社区
乐奇 Rokid 开放社区
AI编程社区
