一Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration论文链接：https://arxiv.org/pdf/1811.00250.pdf这篇论文，首先就是说现在一些基于权重的剪枝，基于通道的剪枝的一些算法，简单介绍。之后，提出了现在广泛使用的基于范式准则的剪枝方法的先决条件：（个人认为非常准

最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删

可以根据实际任务，修改anchor预设的大小和scale ，也就是说stride + anchor ratio + anchor scales都可以调整，选择不同stride确定了feature map的大小，stride就是说下采样的比例，4就是256*256变成64*64，ratio确定了纵横比和尺度。

剪枝1.1MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning该论文提出了一种使用元学习(meta learning)来实现深度神经网络剪枝的策略。什么是元学习？一句话来说，机器学习是让机器学习，元学习是让机器学会如何学习。听起来很厉害，实际上我个人认为意义不是特别大，因为元学习通过学习超参数来实现所谓的机器

pytroch发布的torch.fx工具包可以说是很好的消除一些动态图和静态图的Gap，可以使得我们对于nn.Module的各种变化操作变得非常简单。动态图和静态图：动态意味着程序将按照我们编写命令的顺序进行执行。这种机制将使得调试更加容易，并且也使得我们将大脑中的想法转化为实际代码变得更加容易。而静态则意味着程序在编译执行时将先生成神经网络的结构，然后再执行相应操作。按照动态图和静态图最明显的两

目前支持更换yolov5的backbone主干网络为Ghostnet，以及采用eagleeye的剪枝方法支持对yolov5系列的剪枝。后续，将会添加更多更轻量，更优秀的主干网络，比如swintrans，...

这里采用svd分解，奇异值分解得到的奇异值的和就是矩阵的核范数，可以表述这个矩阵的数据相关性，本文用这个核范数来表征量化的敏感程度，用来作为混合精度Bit-width设置的依据.主要思想：根据bit-width变化造成的二阶扰动来对不同bit-width配置进行排序，排序的指标如下：给定一个目标的model size，根据上述的指标对不同bit-width配置进行排序，然后选取最小扰动的配置。对于

同时，作者提出一种自顶向下的剪枝方法，大致的流程就是从最后一层开始反推减去的patch，因为与卷积是不一样的，transformer的patch是一一对应的，而cnn却不是，意思是transformer中，如果我们从头剪，那么剪去的patch在后面是没有的，那么是非常影响精度的，因为前面冗余不代表后面冗余，所以从后往前是最好的选择，具体如图。的含义是：随着模型的层数由浅到深，token 的数量逐渐

train.py--weigths: 指的是训练好的网络模型，用来初始化网络权重--cfg：指的是网络结构--data：训练数据路径--hyp: 训练网络的一些超参数设置--epochs：训练迭代次数--batch-size：每次喂给神经网络的图片数目--imgsz：训练图片尺寸--rect： 是否采用矩形训练--resume： 指定你之前训练的网络模型，想继续训练这个模型--nosave： 只保

同时，作者提出一种自顶向下的剪枝方法，大致的流程就是从最后一层开始反推减去的patch，因为与卷积是不一样的，transformer的patch是一一对应的，而cnn却不是，意思是transformer中，如果我们从头剪，那么剪去的patch在后面是没有的，那么是非常影响精度的，因为前面冗余不代表后面冗余，所以从后往前是最好的选择，具体如图。的含义是：随着模型的层数由浅到深，token 的数量逐渐