在上一篇中，我们已经解决了一个关键问题：

RoI Pooling 的误差主要来源于“坐标量化”，而 RoI Align 通过去除取整 + 双线性插值，有效缓解了这一问题。

但说到底，这只是一个对齐问题上的改进，我们在上篇的末尾也提到了新的方向：

能不能让采样过程，具备一定的结构感知能力？

实际上，早在 RoI Align 之前，就已经有方法具备了这一思路的雏形，那就是 Position-Sensitive RoI Pooling，可以直译为位置敏感的候选框池化，简称 PS RoI Pooling.

显然，其重点就在这个“位置敏感”上，下面就来详细展开：

1. RS RoI Pooling 的背景和思想#

RS RoI Pooling 来源于 16 年提出的目标检测模型：R-FCN: Object Detection via Region-based Fully Convolutional Networks.

在这篇论文中，作者指出：

传统 RoI Pooling 的一个核心问题是：它们对空间信息“不敏感”。

展开来说，在 RoI Pooling 里，我们将原始图像输入网络，得到一个 feature map，其尺寸为：

根据基本的卷积知识，我们知道：这里的 C 个通道，本质上是学习得到的“语义滤波器”，比如某些通道对“边缘”敏感、某些对“纹理”敏感，而某些对“人脸整体”敏感等等。
简单来说就是：feature map 的一个通道对应一种提取出的特征。

但问题在于：

同一个通道，在左上角和右下角的“含义是一样的”。

再针对这句话展开，我们知道：在 CNN 里，一个通道不是随便来的，它对应的是同一个卷积核（filter）在整张图上滑动得到的响应。
也就是说：同一个卷积核，在不同位置检测的是“同一种模式”，并不会受到空间位置的影响。

比如某个通道学到了“检测眼睛”，那这个通道在 feature map 上的左上位置有高响应，就说明那里有“眼睛”、右下位置有高响应，就说明那里也有“眼睛”，它不会区分“这是左上还是右下”。

现在回到我们的任务：一个 RoI（假设为人脸），被分成 ：
根据认知，我们当然知道左上是眼睛、中间是鼻子、下方是嘴等分布。
但实际上 feature map 提供的其实是：

通道	意义
channel 5	“有没有眼睛”
channel 12	“有没有鼻子”
channel 27	“有没有嘴巴”

现在的矛盾点是：

通道本身不区分位置，但任务却要求“不同位置关注不同语义”。

如果网络要学习到上面的认知，就要依靠反向传播中不同区域的梯度分布，让网络隐式学习来实现。

关键来了，最终模型必须在同一套参数中同时学两件事：

1. 学语义建模：学习 channel 表示什么，如 channel 5 = 眼睛、channel 12 = 鼻子这类信息。
2. 学空间对齐：学习这些语义在不同空间位置的“使用方式”，如左上区域更关注 channel 5，中间区域更关注 channel 12 等。

这两件事，本质上是可以解耦的，但现在却耦合在了一起。

而且在这种位置无关的特征表示下，不当的 Pooling 操作就会进一步压缩空间结构，使不同位置的语义差异被平均化，从而加剧信息混淆。

于是，RS RoI Pooling 的做法是：

把“位置”直接写进通道，用某个固定的通道来专门负责某个位置，实现“位置敏感”。

下面就来展开其详细逻辑：

2.PS RoI Pooling 的具体改进#

在理解了“位置敏感”的核心思想之后，现在的问题就变成了：

如何在具体实现中，把“空间位置”编码进通道？

为此，PS RoI Pooling 的在 RoI Pooling 的框架下进行了两步关键改进：

1. 构建位置敏感特征图
2. 按位置进行通道选择并池化

下面就来逐个展开：

2.1 特征图处理#

在传统的 RoI Pooling 中，负责从原始图像中提取通用特征的主干网络 backbone 输出的 feature map 会被直接用于后续操作。

但在 PS RoI Pooling 中，会多出一个关键步骤：

在原 feature map 上额外接一个  卷积，用于生成“位置敏感特征图”。

假设 backbone 输出为：

而我们希望最终得到的 RoI 划分后 bin 的数量是：

同时任务中有  个类别，那么这个  卷积的输出通道数将被设计为：

也就是说，最终得到的特征图尺寸为：

如图所示，这里的关键在于：

这  个通道，是带有明确空间语义划分的通道。

我们可以将其按类别进行分组：每个类别有自己的  个通道，并且每个通道对应 RoI 中的一个固定空间位置。

举个例子，假设  ，当前类别为 “人”，那么该类别对应的 4 个通道，就可以理解为：

通道编号	语义
1	左上
2	右上
3	左下
4	右下