Motivation：现有的基于深度卷积神经网络的方法主要专注于设计更深或者更宽的网络结构，却很少挖掘层间特征的相关性，从而降低了卷积神经网络的学习能力.

整体思路：提出了一个二阶注意力网络(SAN)来实现更强大的特征表达和特征相关学习。提出了一种新的可训练的二阶通道注意力(SOCA)模块，进行相关性学习。提出了一种非局部增强的残差组(NLRG)结构，捕获远距离空间上下文信息。

Github地址：https://github.com/daitao/SAN

具体方法：

• 网络架构：

• 非局部增强残差组NLRG

• 区域非局部模块RL-NL模块

  

将图像划分为k×k大小，每一个区域进行非局部操作。

对于全局非局部的好处：减少来计算量，对于低级任务区域非局部操作证明有效。

• LSRAG模块
• 

使用了局部残差连接，在LSRAG末端有一个SOCA模块，即是二阶通道注意力机制。

SOCA：