DECA：基于单张静态图像，进行 3D 人脸建模

作者|神经三羊

来源|HyperAI超神经

By 超神经

内容概要：本文罗列了 3D 人脸建模常用的 3 大方法，以及基于静态图像进行人脸建模的 3 个方法。文末分享了一个 DECA 教程。

关键词：3D 人SEO靠我脸建模   计算机视觉   教程

3D 建模是计算机视觉领域中的一个关键问题，其中 3D 人脸建模，在游戏、影视特效、VR 等领域应用广泛。

但是由于人脸的复杂性、易变性，建立逼真的 3D 人脸模型，成为SEO靠我众多研究者不得不面对的一大挑战。

 3D 人脸建模的三大常用方法

通常情况下，3D 人脸建模的方法分为三种：软件建模、仪器采集与基于图像的建模。

 1、软件建模 

软件建模是最早的 3D 建模手段，现在仍广泛应用于SEO靠我电影、动漫等行业中。

网友 Gal Yosef 用 Maya 绘制的场景

Maya 被广泛应用于电影、广告、游戏等特效创作中

曾获奥斯卡科学技术贡献奖等殊荣

常用的 3D 建模软件包括 3Dmax、Maya、SEO靠我ZBrush、Blender、Houdini 等。3D 建模软件占用磁盘空间大，对电脑的显卡要求高，硬件无法满足时，就容易出现延迟甚至崩掉。

 2、仪器采集 

手工建模耗时耗力，需要借助 3D 扫描设备，对目SEO靠我标物体进行全方位、多角度的数据收集。根据扫描对象的尺寸，3D 扫描仪分为桌面式、手持式和远距式。

由于人类无法长时间保持一个动作（如不自觉眨眼），因此 3D 人脸建模对扫描仪的扫描速度和细节捕捉有较高要SEO靠我求。

iPhone Animoji 功能利用 3D 结构光技术

通过前置组件快速扫描面部特征点

生成动画表情

此外，当环境、光线等发生变化时，扫描仪收集的人脸数据可能也会发生变化。

 3、基于图像建模 

即借助一张或SEO靠我几张二维图像，来恢复图像或场景的三维结构。

但是由于 3D 人脸是立体的、多维的，因此单一角度的观察，很难判断物体其他视角的构造，制作出来的模型也就成为了一个平面化的物体。

某算法只需上传一张清晰的人脸照SEO靠我片，即可生成 3D 人脸

但是人脸的顶部和侧面融合效果并不好

如上图所示，虽然目前的 3D 人脸重建法，可以重现人脸细节，但无法还原模拟面部肌肉随表情变化而变化，因此生成的 3D 人脸动作表情往往比较单一SEO靠我。

 基于图像进行 3D 人脸建模的方法简介

 DeepSketch2Face 

DeepSketch2Face 是一个基于深度学习的 3D 人脸和漫画建模的草图系统。该系统配备一个非常好用的素描界面，用户可以自SEO靠我由绘制 2D 的人脸草稿。

研究人员开发了一个基于 CNN 的深度回归网络，用于依据 2D 草图，预测并生成 3D 人脸模型。

这个深度回归网络融合了 CNN 和输入草图的形状特征，并且有两个独立的全连接SEO靠我层分支，为 bilinear 面部表征生成独立的系数子集。

该系统有三种交互模式

初始草图模式、后续草图模式和基于手势的细化模式

该系统还支持基于手势的交互，以便用户进一步操作初始人脸模型。用户研究和数值结SEO靠我果都表明，该系统可以帮助用户快速有效地创建人脸模型。

GitHub 地址：

https://github.com/changgyhub/deepsketch2face

 3DDFA_V2 

作者提出了一个新的回归SEO靠我框架，除精度外，还兼顾了速度和稳定性。

首先，在轻量级 backbone 基础上，作者提出了一个 meta-joint 优化策略，可以动态回归一小部分 3DMM 参数，这极大地提高了速度和精度。

为了进一SEO靠我步提高在视频处理中的稳定性，作者进而提出了一种虚拟合成法，可以把一张静态图像，转换为一段包含平面内和平面外脸部移动的短视频。

3DDFA_V2 方法概述

3DDFA_V2 框架包括四部分：预测 3DMM SEO靠我参数的轻量级 backbone、fWPDC 和 VDC 的 metajoint 优化，landmark-regression 正则化，以及合成短视频的组件。

在高精度和高稳定性的前提下，模型在单 CPUSEO靠我 core 上的运行速度超过了 50fps，同时优于其他最先进的重型模型。

3DDFA_V2 是 3DDFA 的升级版，与 3DDFA 相比，3DDFA_V2 的性能和稳定性都更佳。此外，3DDFA_VSEO靠我2 用快速面部检测器 facebox 取代了 Dlib。还增加了一个由 c++ 和 cython 编写的简单 3D 渲染器。

GitHub 地址：

https://github.com/clearduskSEO靠我/3DDFA_V2

 DECA 

DECA 全称 Detailed Expression Capture and Animation，它可以从一个低维的潜在表征中，稳健地生成 UV displacement SEO靠我map，该表征由 person-specific 细节参数和通用表情参数组成。

回归器 (regressor) 经过训练后，可以通过单张图像，预测细节、形状、反照率、表情、姿势和照明参数等。

输入图像、对SEO靠我齐重建、生成不同姿势和表情的动画

为了实现这点，研究人员引入了一种新的细节一致性损失 (detail-consistency loss)，将人类特有的细节与表情变化引起的皱纹区分开来。

这种分离使得开发者SEO靠我可以通过控制表情参数，来合成真实的 person-specific 皱纹，同时保证 person-specific 的细节不会发生改变。

DECA 从 in-the-wild image 中学习，在成对SEO靠我的 3D 监督的情况下，在两个基准上都达到了最先进的形状重建精度。

in-the-wild 数据证明 DECA 具有鲁棒性，而且具有分解身份和表情相关细节的能力，这使得重建的人脸能够成为动画。

GitHuSEO靠我b 地址：

https://github.com/YadiraF/DECA

 官方教程：用 DECA 进行 3D 人脸建模

基于官方 Colab、针对 OpenBayes 平台优化后，我们输出了以下教程。本教SEO靠我程实现了基于单张人脸彩色图片进行 3D 人脸精细重建方法。

本教程主要演示了：

* 人脸三维重建过程

* 表情迁移过程

* 姿态变换，动画化的过程

代码目录：

* 代码环境准备

* 人脸重建

* 表情迁移

* 姿态和动SEO靠我画化的实现

注：本教程推荐使用 GPU 运行

具体实现方法请参考下方描述。

第一步：代码环境准备

%cd DECA!pip install -r requirements.txt! pip install pSEO靠我ytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py36_cu101_pyt160/download.htmSEO靠我lfrom IPython.display import display,Image

第二步：人脸重建

!python demos/demo_reconstruct.py -i TestSamples/eSEO靠我xamples --saveDepth True --saveObj True # 可视化重建效果 从左到右分别为原图，2D关键点，3D关键点，粗几何结构，精细几何结构和深度图dispSEO靠我lay(Image(filename=./TestSamples/examples/results/alfw1_vis.jpg))

第三步：表情迁移

!python demos/demo_transferSEO靠我.py --image_path ./TestSamples/examples/IMG_0392_inputs.jpg --exp_path ./TestSamples/exp/7.jpg SEO靠我 # 可视化表情迁移效果display(Image(filename=./TestSamples/animation_results/IMG_0392_inputs_animation.jpg))SEO靠我

第四步 姿态和动画化的实现

!python demos/demo_teaser.py --inputpath ./TestSamples/teaser --exp_path ./TestSamples/SEO靠我exp # 可视化实现效果display(Image(filename=./TestSamples/teaser/results/teaser.gif))

完整代码，请访问：

https:SEO靠我//openbayes.com/console/open-tutorials/containers/3vGLMGSXAcY

往

期

回

顾

资讯

AI复活她，OpenAI又夺走她

简历

什么行为预示着你将成为编程大佬SEO靠我

资讯

英伟达用 AI 给自家纪录片配音

资讯

GitHub的AI编程代码漏洞40%

分享

点收藏

点点赞

点在看