参考博客：
旷视 R TALK：图像对齐及其应用
单应性Homograph估计：从传统算法到深度学习

1. 传统算法

大致流程：

1. 提取特征点
2. 特征匹配
3. RANSAC 排除错误匹配
4. 求解单应性（Homograph）矩阵

难点：

1. 弱纹理、无纹理（特征少，难以提取）
2. 低光图像、噪声干扰（特征集中在局部，对齐效果差）
3. 重复纹理（特征匹配容易出错）
4. 大前景干扰
5. 大视差
6. 深度视差（单应性变换本身的局限性）

2. 深度学习算法

2.1 Deep Image Homography Estimation（2016）

论文地址

创新：

• 数据集
  

1. 原始图像取一个矩形区域 A（蓝色框）
2. 对 A 的四个顶点做一定范围（黄色框）的随机位移（红色箭头）得到一个不规则区域（不规则绿色框）
3. 根据位移向量可以求得 ${\mathrm{H}}^{\mathrm{A}\mathrm{B}}$ 和 ${\mathrm{H}}^{\mathrm{B}\mathrm{A}}$
4. 对原图做 ${\mathrm{H}}^{\mathrm{B}\mathrm{A}}$ 变换，得到矩形区域 B（矩形绿色框）
5. 将 A 和 B 输入给网络求得 ${\mathrm{H}}^{\mathrm{A}\mathrm{B}}$

• 网络结构
  
  
    直接预测出单应性矩阵参数比较困难，因此网络预测的是4个顶点的位移量（右边回归网络），然后再计算单应性矩阵。
    文中说没有置信度会限制一些应用，就搞了左边的分类网络，将4个顶点的位移范围划分为21个区间，输出落在每个区间的概率值。

优点：

1. 对弱纹理和无纹理图像优于传统算法；

缺点：

1. 训练数据是人工变形得到的，真实世界图像存在内容上差异，导致对真实世界图像的对齐效果较差；

2.2 Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model（2017）

论文地址
代码地址

创新：

• 网络结构
  
    图(a)为2.1的监督算法，图(b)为传统算法，图(c)为此文无监督算法。
    ${\tilde{\mathrm{H}}}_{4\mathrm{p}\mathrm{t}}$ 为预测的4个顶点位移向量，结合4个顶点的位置坐标 ${\mathrm{C}}_{4\mathrm{p}\mathrm{t}}^{\mathrm{A}}$，通过 Tensor DLT（Direct Linear Transform）得到单应性矩阵 $\tilde{\mathrm{H}}$；之后通过空间变换层得到图像 ${\tilde{\mathrm{P}}}^{\mathrm{B}}$，并与实际图像 ${\mathrm{P}}^{\mathrm{B}}$ 计算光度损失（像素点间的 L1 损失）。
    其中，Tensor DLT（代替 SVD 奇异值分解）和空间变换层都是为了便于梯度计算，使网络得以训练。

优点：

1. 相比监督算法，对真实世界图像的对齐效果较好；
2. 对图像特征的表达比较鲁棒，不像传统方法很依赖特征点；

缺点：

1. 数据集主要用的航拍图像，适合单个单应性矩阵做对齐；
2. 深度视差、RANSAC

2.3 Content-Aware Unsupervised Deep Homography Estimation（2019）

论文地址
代码地址

创新：

• 数据集
  
  制作了一套数据集分为5大类，并为了量化评估，手工标注了5000张图像作为ground truth；

  1. Regular（RE）：纹理丰富，单平面远景适合用单个单应性矩阵对齐
  2. Low texture（LT）：纹理少
  3. Low light（LL）：低光图像
  4. Small Foregrounds（SF）：小前景
  5. Large Foreground（LF）：大前景

• 网络结构
  
  
  令 β ∈ { a , b } \beta \in \{a,b\} β∈{a,b}
    此文认为直接用像素值当特征不太好，通过 $f(\cdot )$ 获取深层特征 $F_{\beta }$，并通过 $m(\cdot )$ 生成 mask $M_{\beta }$。这里的特征和 mask 都和原图 $I_{\beta }$ 分辨率相同，其中 $m(\cdot )$ 的作用与 RANSAC 相似，生成的 mask 可以看作是特征的权重，来衡量特征的重要性，从而可以忽略一些干扰的特征（如干扰前景）。$G_{\beta }=F_{\beta }{M}_{\beta }$ 输入给后续的单应性估计网络，同样预测4个位移向量，并通过一个线性系统得到单应性矩阵 ${\mathcal{H}}_{ab}$。

  损失计算：
  $$\underset{m,f,h}{\min }{\mathbf{L}}_{\mathbf{n}}\left(I_a^{\prime },I_b\right)+{\mathbf{L}}_{\mathbf{n}}\left(I_b^{\prime },I_a\right)-\lambda \mathbf{L}\left(I_a,I_b\right)+\mu {\Vert {\mathcal{H}}_{ab}{\mathcal{H}}_{ba}-\mathcal{I}\Vert }_2^2$$
  其中，
  ${\mathbf{L}}_{\mathbf{n}}\left(I_a^{\prime },I_b\right)=\frac{{\sum }_i{M}_a^{\prime }{M}_b\cdot {\Vert F_a^{\prime }-F_b\Vert }_1}{{\sum }_i{M}_a^{\prime }{M}_b}$，$i$ 表示特征图和mask中的像素索引

  $\mathbf{L}\left(I_a,I_b\right)={\Vert F_a-F_b\Vert }_1$

  ${\mathcal{H}}_{ba}$ 通过将 $I_a$ 和 $I_b$ 的特征位置互换得到

    损失函数前两项最小化变换后图像特征的差异，第三项是为了避免全零解最大化原始图像特征差异，第四项则是让两个单应性变换尽可能可逆。
    （2021.10.25）后续发现提供的代码用 torch.nn.TripletMarginLoss() 替代了论文描述的损失函数（TripletMarginLoss解析），基本就是只保留上面损失的1、3项，第4项在 utils.py 里留了个口 getBatchHLoss()；主要问题在于 mask 的训练，从 loss 分析如果 mask 是全为0那么 loss 会最低，这显然不对；mask 加入训练时，github 上说用一个小学习率微调网络，结合反向传播和数据来看，前景差异大，背景差异小，则 mask 的前景部分会更快地趋向于0，那么 mask 是有效的，但是关键在于这个数据集是分割视频生成的，背景部分差异很小，后面发现很多对齐用的公开数据集即使是背景差异也非常大，这个 mask 的策略基本就是无效的了。

优点：

1. 解决 RANSAC 问题，主要避免前景干扰

缺点：

1. 深度视差

2.4 DeepMeshFlow: Content Adaptive Mesh Deformation for Robust Image Registration（2019）

论文地址

Mesh Flow 大致就是把图像划分为网格，每个网格对应一个单应性矩阵，从而适应图像中的不同深度平面来对齐。

创新：

• 网络结构
  
    ResNet-34 后面连接 $K$ 个分支（$K=3$），每个分支从一个自适应池化层开始，并通过卷积层生成一个特定大小的 mesh flow：

  ${\mathcal{M}}_1^{\prime }\to \left(\frac{H_g}{16}+1\right)\times \left(\frac{W_g}{16}+1\right)\times 2=2\times 2\times 2$

  ${\mathcal{M}}_2^{\prime }\to \left(\frac{H_g}{4}+1\right)\times \left(\frac{W_g}{4}+1\right)\times 2=5\times 5\times 2$

  ${\mathcal{M}}_3\to \left(H_g+1\right)\times \left(W_g+1\right)\times 2=17\times 17\times 2$

  然后将粗尺度 ${\mathcal{M}}_1^{\prime }$ 和 ${\mathcal{M}}_2^{\prime }$ 上采样至 ${\mathcal{M}}_3$ 分辨率，并融合 ${\mathcal{M}}_1$、${\mathcal{M}}_2$、${\mathcal{M}}_3$。

    mesh flow 的融合通过一个场景分割网络将图像 $I$ 分割为 $K$ 个类别，输出大小为 $\left(H_g+1\right)\times \left(W_g+1\right)\times K$，融合方式是直接按分类结果选择每个点的位移向量用哪个 mesh flow 的对应值，最终得到 ${\mathcal{M}}^{\ast }$。之后的 loss 计算与 2.3 相同。

优点：

1. 解决深度视差问题

2.5 RANSAC-Flow: generic two-stage image alignment（2020 ECCV）

论文地址
代码地址

论文代码详细分析

创新：

• 单应性（粗对齐）与光流法（细对齐）结合
• 迭代方式做对齐

优点：

  按论文中的说法，单应性对图像细节对齐的不好，而光流法对差异较大的图像无法对齐，而此方法可以对差异大的图像细节也对齐好，扬长避短地结合两种对齐方法。

1. 细节对齐效果好
2. 对各种差异很大图像也能对齐
3. 网络基本没做什么优化就有很好的效果（论文只是训练了细对齐网络，粗对齐网络直接是迁移过来都不微调；直接用提供的模型在自己双目相机采集的小差异数据上就有很好的对齐效果）

缺点：

  论文中展示的为相对效果较好（较容易对齐）的结果，下图为挑选的几种不同角度的缺点，由于最终的对齐参数为一个像素级对齐矩阵，所以主要缺陷还是与光流法类似。

1. 无法判断需要对齐的部分
     此例，原始图像为目标图像右上一小块区域，但是算法会尽可能将全图都对上。
   

2. 光流法的图像局部扭曲现象
     像素级对齐通常在低分率的特征图上做对齐然后插值到原图的高分辨率，目前判断扭曲现象是插值造成的。
   

3. 前景遮挡
     前景遮挡情况下的肉眼观感很差，存在大面积扭曲，不如 2.3 的效果（无视前景做对齐）。
   

4. 慢
     1660Ti的笔记本上约10s一对图像。

2.6 GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences（2020 CVPR）

论文地址
代码地址