近年，利用RGB-D数据进行人脸识别的方案已经被广泛采用，然而现有方法多使用相同处理方式处理所有的模态，这没有充分考虑模态的差异，忽略了模态之间的相关性。作者提出一种新的RGBD多模态融合的人脸识别方案，能够学习多个模态之间的共同特征以及互补特征，进一步扩展多模态的学习能力。由于RGB和depth分别描述了人脸的纹理和形状信息，这两种模态应该是相关且可以互补的，通过引入联合损失，来增强模态之间的交

目录导语3D人脸基础知识初识3D人脸相机模型3D相机3D人脸数据3D人脸相关任务常见Pipeline3D人脸识别3D人脸重建总结导语随着深度学习技术的推进，人脸相关任务研究也跃升为学界和业界的热点。人们所熟知的人脸任务一般包括人脸检测，人脸身份识别，人脸表情识别等，它们多是采用 2D RGB 人脸(一般包括一些纹理信息)作为输入；而 3D 扫描成像技术的出现与发展，使得人脸相关任务有了一条新的探索

去年时候看过的一些三维人脸识别方面的论文，文章不都是高质量的，部分也看不懂甚至有理解错误。发现有一个人关注了这个专栏，就直接把当时看论文的草稿复制过来了，也许对人有一点帮助吧。...

该方法使用一个全连接深度网络来表示场景，使用的输入是一个单连通的5D坐标(空间位置x,y,z以及观察视角θ，),输出为一个体素场景，可以以任意视角查看，并通过体素渲染技术，生成需要视角的照片。让我产生疑问的地方是，作者提到在初始时，需要一些对应的点的五维坐标作为引导，来训练网络，那么对应点是如何获得的？值得注意的是，作者说直接输入5D坐标可能会造成算法不能收敛，在文章中，采用一个基于MLP（多层感