CMU ，富士通 ，Argo AI

代码地址 ： 地址

reference： 链接

本文针对点云配准的问题，提出PointNetLK.

核心思想: 把点云＄P_T＄和$P_S$通过PointNet网络映射到和$\varphi (P_T)和\varphi (P_S)$，目标是找出一个刚性变换G使得$\varphi (P_T)=\varphi (G\cdot P_S)$。

其使用Point Net无序的点云进行“成像”，也就是将配准算法的输入从点云变成了PointNet处理后的K维特征向量。这样点云规模对算法的计算量不会产生影响。

借鉴LK的思想，LK目标是跟踪detector的平移，这里是跟踪整个点云的旋转。

LK是有两个2D图片$I_1,I_2$, 由提取出来的$I_1$中的detector，在$I_2$中根据灰度找到$I_1$的detector，算出两者位移。
LK是基于光度不变假设，即$I_2(\mathbf{x}+\Delta \mathbf{x})=I_1(\mathbf{x})$，解出$\Delta \mathbf{x}$。

在点云配准问题中是相似的，已知 $\varphi (P_T)=\varphi (G\cdot P_S)$,解出$G$。这里是迭代求解之后，解出的$\tilde{G}$与GT之差产生一个loss，反向传播去训练PointNet，即优化$\varphi (\cdot )$。

算法流程:

两个输入：模板点云Pt，源点云Ps.

两个共享权重的网络：PointNet，去掉了用于对输入点云做变换的T-Net，使用LK算法层作为代替

这里借鉴LK的the Inverse Compositional (IC) formulation（$I_1$ 算梯度）（正常LK是用$I_2$算梯度）:

定义
$$error=\varphi (P_T)-\varphi (G\ast P_s)$$
则目标函数为最小化该损失：
$$\tilde{G}=\underset{G}{\min }\frac{1}{2}{\Vert \begin{array}{c}error\end{array}\Vert }_2^2$$
由于问题是非线性的，只能迭代求解，使用高斯牛顿法：
$$\Delta \tilde{G}=mi{n}_{\Delta G}\frac{1}{2}||error(G+\Delta G)|{|}_2^2$$
使用一阶泰勒公式近似：
$$\begin{gathered} \Delta \tilde{G}=[J(G{)}^{T}J(G){]}^{-1}(-J(G{)}^{T}error(G)) \\ 其中J(G)=\frac{\partial error}{\partial G} \end{gathered}$$
$$\begin{gathered} 其中G\in SE3，没有加法，导数无法按照正常定义进行计算。 \\ 所以可以转而对其对应的参数\xi \in SE3进行求导： \end{gathered}$$
$$J(G)=\frac{\partial error}{\partial \xi }。$$
接下来按照原本的LK光流法的思路：
$$J(G_i)={\begin{array}{c}\frac{\partial error}{\partial \xi }=-\frac{\partial \varphi (G_i\cdot P_S)}{\partial \xi }\end{array}|}_{G=G_i}$$
但是这样的话，需要每迭代一步计算一次迭代后的点云关于参数$\delta$的导数$J(G_i)$，而计算雅各比矩阵非常耗时。因此论文借鉴了反向LK算法的思路：

把error改成：
$$error=\varphi (G^{-1}\cdot P_T)-\varphi (P_S)$$
那么在初始时刻有：
$$J(G_0)={\begin{array}{c}\frac{\partial error}{\partial \xi }=-\frac{\partial \varphi (G_0^{-1}\cdot P_T)}{\partial \xi }\end{array}|}_{G=G_0}$$
所以在迭代过程中，jacoobin矩阵都不变，即只对模板图像计算一个雅各比矩阵，大大减小了计算量。

每迭代一步，就把$\Delta \tilde{G}$乘到$P_S$上，$P_T$不动.

现在重新看流程图应该可以看懂了：

n次迭代后得出总的G：
$${\mathbf{G}}_{est}=\Delta {\mathbf{G}}_n\cdot \dots \cdot \Delta {\mathbf{G}}_1\cdot \Delta {\mathbf{G}}_0$$
计算用于训练的loss：
$${\Vert {\left({\mathbf{G}}_{est}\right)}^{-1}\cdot {\mathbf{G}}_{gt}-{\mathbf{I}}_4\Vert }_F$$

实验结果：

训练的时候是用pointnet在model40上训练好了之后，在联合PointNetLK进行fine-tune。本文的比较对象是ICP。

在ModelNet40上sample出一个Template，然后把template进行旋转平移生成Source，用这样的数据进行train和test，做了1,2，两个实验：

1. Train and test on same object categories
2. Train and test on different object categories

结果如下：

右边的两组是为了证明在有噪声数据的情况下，pointnet最后的symmetrical function用average pooling比max pooling更加鲁棒

局部可见数据：

3D与2.5D的匹配。使用的方法是：将3D模板点云数据进行可视点采样得到2.5D点（对源点云数据也进行同样操作）然后输入到网络中，每一个迭代都进行一次采样。

计算效率：

O(n)，相比之下ICP是O(n^2)

ICP的旋转和平移误差分别为（175.51°0.22），0.36s

Go-ICP为（0.18°10-3）,80.78s

PointNetLK（0.2°10-4）,0.2s