关注公众号，发现CV技术之美

本篇分享 CVPR 2022 Oral 论文『Surface Representation for Point Clouds』，波士顿东北大学联合腾讯优图提出 RepSurf 的两个变体，Triangular 和 Umbrella RepSurf，用来探索点云上的表面表示。

详细信息如下：

• 代码地址: https://github.com/hancyran/RepSurf

• 论文地址: http://arxiv.org/abs/2205.05740

• 补充材料：https://openaccess.thecvf.com/content/CVPR2022/supplemental/Ran_Surface_Representation_for_CVPR_2022_supplemental.pdf

      01      

Abstract

摘要

大多数先前的工作通过坐标表示点云的形状。然而，直接利用坐标描述局部几何是不充分的。在本文中，我们提出了 RepSurf（representative surface），这是一种新颖的点云表示，显式的描述了非常局部的点云结构。

我们探索了 RepSurf 的两种变体，Triangular RepSurf 和 Umbrella RepSurf，其灵感来自计算机图形学中的三角形网格和伞形曲率。我们在表面重建后通过预定义的几何先验计算 RepSurf 的表征。RepSurf 可以成为绝大多数点云模型的即插即用模块，这要归功于它与无规则点集的自由协作。

基于 PointNet++（SSG 版本）的简单基线，Umbrella RepSurf 在各种基准上的分类、分割和检测在性能和效率方面都大大超过了之前的 state-of-the-art。在只有0.008M参数数量、0.04G FLOPs 和 1.12ms推理时间的增的情况下，我们的方法在分类数据集 ModelNet40 上达到 94.7% (+0.5%)，在 ScanObjectNN 上达到 84.6% (+1.8%) ；而在分割任务的 S3DIS 6-fold 上达到74.3%(+0.8%) mIoU，在ScanNet 上达到70.0% (+1.6%) mIoU 。

对于检测任务，我们的 RepSurf 应用于最先进的检测器，并在 ScanNetV2 上达到71.2% (+2.1%) mAP25、54.8% (+2.0%) mAP50 和在 SUN RGB-D数据集上64.9% (+1.9%) mAP25、47.7% (+ 2.5%) mAP50的性能。我们的轻量级Triangular RepSurf 在这些基准测试中同样表现出色。

      02      

Introduction

介绍

对原始点云表征（Point Cloud Representation）的处理因其在自动驾驶、增强现实和机器人技术等各种应用中的优势而引起了相当大的关注。但是，点云局部表征的不稳定性使得这个任务非常有难度。

局部形状对于点云的学习至关重要。为了从局部结构信息中学习，一些先前的工作从Grid（例如PointCNN）、Relation（例如RS-CNN）或Graph（例如DGCNN）中学习。

然而，这些方法通过加入更多成分（如欧几里得距离、注意力机制）或应用各种变换（如图形构造、体素化）隐式地从点云shape中提取局部特征。这些可能导致复杂的预处理或大量计算。我们认为这可能会导致在预定义成分时遗漏信息，或在转换过程中损失几何形状。因此，本文探索了更稳定的显式点云局部表征。

      03      

Motivation

动机

我们首先受到泰勒级数的启发。泰勒级数用导数表示局部曲线。为了简化它，我们只考虑到二阶导数。因此，我们可以通过其对应的切线粗略地表示局部曲线，或者我们称之为 3D 点云中的“surface”。

      04      

Method

方法

为了将2D Curve扩展到3D Surface，我们引入了两种RepSurf变体（Triangular RepSurf和Umbrella RepSurf）来近似的描述点云局部特征：

两种RepSurf的实现也非常简洁：

      05      

Experiment

实验

RepSurf分别在3D分类（ModelNet40，ScanObjectNN）、分割（S3DIS，ScanNet）、检测（ScanNetV2，SUN RGBD）上达到了不俗的效果：

      06      

Conclusion

结论

我们希望我们的工作能够激发3D社区并唤起对点云的显示表征的重新思考。我们认为 RepSurf 值得在不同领域（例如自动驾驶）或更大规模的点云上进行进一步探索，因为 RepSurf 有能力去处理真实场景中的大量背景点。 RepSurf 还可以通过其对几何敏感度的能力对点云采样带来帮助。

END

欢迎加入「点云」交流群👇备注：点云