CVPR2018原论文：Squeeze-and-Excitation Networks
开源代码（caffe框架）：https://github.com/hujie-frank/SENet
1.主要内容：提出了“Squeeze-and Excitation” (SE) block。SE模块能够根据卷积通道之间的相互依赖关系增强网络的特征表现能力，称为特征重校正。SE模块能够在全局信息中筛选并强调重要信息，也是注意力机制的一种。

2.SE block的主要结构

假设有X到U的卷积运算，即：

对于U来说，H, W，C分别为高，宽，通道数。SE block的主要运算操作在U上，分为三步：

一，挤压运算（Squeeze）

即一个全局池化，将含全局信息的U压缩成1×1×C。

二，激励运算（Excitation）

即两个全卷积层+两个激活层构成。z为挤压运算结果，W1为第一全卷积层权重，δ为relu激活函数，W2为第二全卷积层权重，σ为sigmoid激活函数。（注：W1全卷积层有一个缩减比率r ）

三，乘积运算

激励运算结果与U相乘，相当于给U的各个通道乘上了一个权重值，这个权重值反映了通道所含信息重要程度。

3.SE block结构的嵌入使用

SE block具有轻量级，计算消耗小的特点，能够被轻易嵌入到其他优秀网络模型中，以提高网络模型的特征表现力。如下图是将SE block嵌入残差块中的结构图：