一、 概述现在我们也知道，随着神经网络的高速发展，网络的规模和参数量也成为阻碍神经网络应用的阻碍，因此神经网络应运而生。二、剪枝剪枝在我的理解就是，神经网络其实存在着很大的冗余，有很多层，通道以及参数都是对网络正确推理结果没有影响或者说影响可以忽略不记的。那这样的层，通道和参数就是没用意义的，只是浪费我们的存储空间以及推理速度。这里我就简单介绍几种我这段时间学习的几种不同的剪枝方法。剪枝按颗粒度划

GAN的原理说起来很简单，就是一个生成网络，一个鉴别网络，两个网络不断对抗各自优化，道高一丈，魔高一尺，道再高一丈的过程。那么gan到底是如何通过对抗，就可以使得随机的一张图可以生成我们想要的图片呢？gan的目的很简单，希望构建一个从隐变量 Z 生成目标数据 X 的模型，也就是说假设了服从某些常见的分布（比如正态分布或均匀分布），然后希望训练一个模型 X=g(Z)，这个模型能够将原来的概率分布映射

二. 量化简单介绍目前比较SOTA的量化方法，也是最近看的。2.1 DSQ Differentiable Soft Quantization:Bridging Full-Precision and Low-Bit Neural Networks本文的创新点主要在于引入了可微软量化的方法，来模拟近似量化过程。通俗来说也就是，传统的量化方法都是利用round来取整，这就导致了量化的不可微。我们一般的处

可以根据实际任务，修改anchor预设的大小和scale ，也就是说stride + anchor ratio + anchor scales都可以调整，选择不同stride确定了feature map的大小，stride就是说下采样的比例，4就是256*256变成64*64，ratio确定了纵横比和尺度。

一Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration论文链接：https://arxiv.org/pdf/1811.00250.pdf这篇论文，首先就是说现在一些基于权重的剪枝，基于通道的剪枝的一些算法，简单介绍。之后，提出了现在广泛使用的基于范式准则的剪枝方法的先决条件：（个人认为非常准

一Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration论文链接：https://arxiv.org/pdf/1811.00250.pdf这篇论文，首先就是说现在一些基于权重的剪枝，基于通道的剪枝的一些算法，简单介绍。之后，提出了现在广泛使用的基于范式准则的剪枝方法的先决条件：（个人认为非常准

最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删

可以根据实际任务，修改anchor预设的大小和scale ，也就是说stride + anchor ratio + anchor scales都可以调整，选择不同stride确定了feature map的大小，stride就是说下采样的比例，4就是256*256变成64*64，ratio确定了纵横比和尺度。

剪枝1.1MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning该论文提出了一种使用元学习(meta learning)来实现深度神经网络剪枝的策略。什么是元学习？一句话来说，机器学习是让机器学习，元学习是让机器学会如何学习。听起来很厉害，实际上我个人认为意义不是特别大，因为元学习通过学习超参数来实现所谓的机器

pytroch发布的torch.fx工具包可以说是很好的消除一些动态图和静态图的Gap，可以使得我们对于nn.Module的各种变化操作变得非常简单。动态图和静态图：动态意味着程序将按照我们编写命令的顺序进行执行。这种机制将使得调试更加容易，并且也使得我们将大脑中的想法转化为实际代码变得更加容易。而静态则意味着程序在编译执行时将先生成神经网络的结构，然后再执行相应操作。按照动态图和静态图最明显的两