论文地址：Shape-IoU: More Accurate Metric considering Bounding Box Shape and Scale

视频讲解

代码

摘要：

       作为检测器定位分支的重要组成，边框回归损失在目标检测任务中发挥巨大作用。现有的边框回归方法，通常考虑了GT框与预测框之间的几何关系，通过使用边框间的相对位置与相对形状等计算损失，而忽略了边框其自身的形状与尺度等固有属性对边框回归的影响。为了弥补现有研究的不足，本文提出聚焦边框自身形状与尺度的边框回归方法。首先我们对边框回归特性进行分析，得出边框自身形状因素与尺度因素会对回归结果产生影响。接着基于以上结论我们，我们提出了Shape-IoU方法，其能够通过聚焦边框自身形状与自身尺度计算损失，从而使得边框回归更为精确。最后我们通过大量的对比实验来验证本文方法，实验结果表明本文方法能够有效提升检测效果且优于现有方法，在不同的检测任务中达到了sota.

贡献：

       1.我们分析边框回归的特性，得出结论在边框回归过程中，边框回归样本的自身形状与尺度因素会对边框回归的结果产生影响。

       2.基于现有边框回归损失函数，考虑边框回归样本自身形状与尺度对边框回归的影响，我们提出shape-IoU损失函数，针对小目标检测任务我们提出了shape-dot-distance与shape-nwd损失。

       3.我们使用最先进的一阶段检测器在不同的检测任务上进行了一系列对比实验，实验结果证明了本文方法检测效果优于现有方法，达到了sota.

方法：

1.边框回归特性分析

                                     （a)                                                         (b)

         如图，在图a与b中，边框回归样本A与边框回归样本B中GT框的尺度相同,C与D中GT框的尺度相同。A与D中GT框的形状相同,B与C中GT框的形状相同。C与D中边框尺度大于A与B中边框的尺度，a中所有边框回归样本的deviation相同, shape-deviation 为0。图b与图a的差别在于b中所有边框回归样本的shape-deviation相同, deviation为0。观察如下：

      图a中的A与B的deviation相同但IoU值存在差异。

      图a中的C与D的deviation相同但IoU值存在差异,并且与a中的A与B相比，其IoU值差异并不显著。

     图b中的A与B的shape-deviation相同但IoU值存在差异。

     图b中的C与D的shape-deviation相同但IoU值存在差异,并且与b中的A与B相比，IoU值差异并不显著。

        图a中A与B的IoU值存在差异的原因在于，他们的GT框形状不同，deviation方向分别对应他们长边方向和短边方向，对于A来说沿其GT框长边方向的deviation对其IoU值影响较小，对于B来说短边方向的deviation对其IoU影响较大。相较于大尺度边框，较小尺度边框的IoU值变化更为敏感，GT框形状对于较小尺度边框IoU值的影响更为显著。因为A与B在尺度上小于C和D，所以，形状与deviation相同的情况下其IoU值变化更为显著。同理在b中，从shape-deviation角度分析边框回归，可以得出回归样本其GT框形状会在回归过程影响其IoU值。

基于以上分析，可以得出以下结论；

     （1）假设GT框并非正方形，其GT框存在长边与短边，对于deviation与shape-deviation相同且不全为0的情况下，回归样本中边框形状与尺度的差异会导致其IoU值存在差异。

    （2）对于相同尺度的边框回归样本，当回归样本deviation与shape-deviation相同且不全为0，边框的形状会对回归样本的IoU值产生影响，沿着其边框短边方向的deviation和shape-deviation所对应IoU值变化更为显著。

  （3）对于形状相同边框回归样本，当回归样本deviation与shape-deviation相同且不全为0，相较于较大尺度回归样本，较小尺度边框回归样本IoU值受GT框形状影响更为显著。

2.Shape-IoU

      其中scale为尺度因子，与数据集中目标的尺度有关，ww与hh分别为水平方向与竖直方向的权重系数，其取值与GT框的形状有关。其对应的边框回归损失如下：

实验

1.PASCAL VOC on YOLOv8 & YOLOv7

2.VisDrone2019 on YOLOv8

3.AI-TOD on YOLOv5