logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[ECCV2020]Self-supervised Single-view 3D Reconstruction via Semantic Consistency

本文做的是基于单图的无监督3D物体重建。文中模型不需要配对的2D图像与3D扫描结果,不需要landmark,不需要多视角图像,也不需要参数化模型,更不需要手工定义的模板,完全从零开始重建一个3D物体。只有一个约束,就是输入的所有图片需要是同一类物体(比如全是车,全是鸟,或者全是马等等)。本文主要的思想是将同一类物体通过语义分割建立联系,通过3D模板(初始模板就是一个球)与语义分割模型相互之间的促进

#计算机视觉
[CVPR2019](D3DFR)Accurate 3D Face Reconstruction with Weakly-Supervised Learning From Single Image

亮点:主要是提出了通过同一人多张图来生成更精细的人脸3D模型的方案,主要框架是基于3DMM的。Lambertian surface-朗伯面:即入射光会向所有方向均匀反射,也即漫反射的期望状态spherical harmonic lighting-球谐光照:就是用来模拟光照的一个方案。类似于傅里叶变换,将一个复杂的函数分解为多个正交的基底函数,通过计算他们的系数来获得最终的结果。主要目的是为了快速模

#3d#计算机视觉#深度学习
[SIGGRAPH2017](FLAME)Learning a model of facial shape and expression from 4D scans

动机现在的3D模型有俩极端:1.人工的3D模型,非常精细,但是需要大量人力2.通用的3D模型,可以很容易匹配图像和视频,但是比较粗糙所以这个文章就是为了同时满足上述两方面的需求数据早期的generic face model由于数据不足,所以能表达的面部形状有限。因此这篇文章就融合了三个数据库来弥补数据不足的问题。并且这文章的FLAME中的人物身份,姿势,面部表情都是分别单独表示的。用CAESAR数

#3d
[CVPR2021]Lipstick ain’t enough: Beyond Color Matching for In-the-Wild Makeup Transfer

本文的亮点在于引入了3D模型,将2D图像转换为UV map,从而获得输入脸和参考脸之间的对应性。另外,还额外设计了一套模型用于学习装饰性妆容(区别于修饰性妆容)如上图所示,原始脸和参考脸都会用PRNet(一个3D重建模型)来提取UV纹理图。原始脸还会提取一个UV位置图,用于从UV纹理图到原始2D图的重构。文中将妆容分成了两类:颜色转移即修饰性妆容,就是一般人们会画的妆容,用于修饰面部细节。具体的方

#计算机视觉#人工智能
[TOG2019]Deferred Neural Rendering:Image Synthesis using Neural Textures

本文处理的问题是新视角合成,即给定一个物体的一组照片,要求生成全新视角的图片。大概思路是先通过给定的这组照片重建出一个3D模型,然后旋转通过旋转3D模型就可以得到新视角的图片了。而本文最大的亮点在于他假设重建的3D模型是并不完美的(这非常符合实际,因为事实上现如今的技术无法做到完美的3D重建),因此作者让网络将像素特征(区别于RGB)储存到了纹理图中,称之为神经纹理(neural texture)

#计算机视觉
[TOG2021](DECA)Learning an Animatable Detailed 3D Face Model from In-The-Wild Images

DECA(Detailed Expression Capture and Animation)目标在弱监督的情况下训练一个从单张2D图片到3D人脸转换的模型。并且3D人脸可以生成真实的动画。动机基本就是为了提升FLAME的效果。基础的FLAME模型会受限于网格密度而丢失一些面部细节,例如皱纹。而DECA就是为了在这方面提升。主要思想同一个人在不同表情下,面部细节是有区别的(例如皱纹),但是与此同时

#3d#深度学习#计算机视觉
[TOG2020](综述)3D Morphable Face Models—Past, Present, and Future

这是一篇关于3DMM(3D Morphable Face Model)的综述,概述了过去20年间这个领域的发展概况。

#深度学习#计算机视觉#人工智能
[ECCV2022]3D face reconstruction with dense landmarks

本文做的是基于单图的3D人脸重建。与之前方式不同的是,本文只使用了提取的密集landmark作为模型约束,甚至没有用基于图像的渲染重建损失,但效果却达到了SOTA。本文为后续的工作提供了一个非常好的思路,那就是直接使用基于计算机图形学生成的人脸进行训练。这样的好处是我们拥有绝对准确的ground truth,比如文中使用的landmark,而这是我们在真实数据库上无法达到的(比如被遮挡部分的lan

#计算机视觉
[ICCV2019]Deep Single-Image Portrait Relighting

本文解决的问题是在给定一张2D图的情况下如何改变照片中的光照的方向。首先,作者使用了基于物理的重光照方法,基于CelebA-HQ数据集构建出了一套有多方向光源的数据集Deep Portrait Relighting(DPR)。然后用DPR来训练了一套自己的模型。构建DPR数据集分为以下步骤:1.作者检测了CelebA-HQ中每个人脸的landmark,删掉了没有landmark的图。2.使用3DD

#计算机视觉#人工智能
常用3D表示

目前 3D 学习中,物体或场景的表示包括显式表示与隐式表示两种,主流的显式表示包括基于 voxel、基于 point cloud、和基于 polygon mesh 三种,隐式表示包括基于 Occupancy Function [1]、和基于 Signed Distance Functions [2] 两种。下表简要总结了各种表示方法的原理及其相应优缺点。1.1 Voxel表示图像:表示原理:体素用

#计算机视觉
    共 13 条
  • 1
  • 2
  • 请选择