论文地址：http://arxiv.org/abs/2002.10179
github地址：https://github.com/lmbxmu/HRank

本篇文章来自厦门大学媒体分析与计算实验室，这篇文章首先提出了一种新的剪枝分类方式，根据剪枝过程是否改变training loss分为property importance与adaptive importance。另外的分类标准还有软硬剪枝以及全局性/逐层剪枝等。本文所提出的基于矩阵的秩的方法属于property importance以及硬剪枝。

Motivation

现有的剪枝方法没有特别的关于网络成分的理论指导，在剪枝设计中存在训练效率低、人工成本高等问题。以往property importance的论文需要大量的图像输入来估计输入数据的分布，效率较低。因此，本篇旨在寻找能够减少data-driven的束缚的剪枝方法。

Method

本篇提出基于feature map的秩的通道剪枝方法。该方法的依据有两点：

1. feature map作为中间变量，同时反映filter的属性和输入图像的信息。 即使在同一层内，单个feature map在网络中也扮演着不同的角色。并且feature map演示了输入图像每一层中的转换过程，最后转换为预测的标签。
2. 作者经验观察到，filter输出的秩（即feature map的秩）的期望对输入图像具有鲁棒性。 可以证明，尽管不同的图像可能具有不同的秩，但方差可以忽略不计。
   
   接着，介绍其具体剪枝的算法：
   根据前述依据，作者对网络进行逐层压缩。对每一层输入少量图像（本文选择500张图）计算feature map的秩并排序，根据奇异值分解可知秩越大所含信息量越大，因此秩越小的feature map重要性越低。对每一层按一定比例剪去平均秩小的feature map对应的卷积核。之后以剩余的filter的参数为初始值进行微调得到剪枝后的网络。

Experiment

数据集： CIFAR-10, ImageNet
模型： VGGNet, GoogleNet, ResNet, DenseNet
用于计算feature map的秩的输入图像数量： 500
Batchsize: 128,
weight decay: 0.0005, momentum: 0.9
优化器： SGD(lr: 0.01, 0.001@5, 0.0001@10 epoch)
epoch: 30
GPU: NVIDIA GTX 1080Ti ×2

Results