“造”个自身去开会：最牛 三维 人脸建模系统软件，键入一张照片就行

1 月 26 日信息，纽约帝國理工大学和新成立公司 FaceSoft.io 的科学研究工作人员设计方案出一个面部模型系统软件 AvatarMe。AvatarMe 能够根据随意一张人脸照片和一些脸部关键点，形成 4k高清 x 6K 屏幕分辨率的 三维 面部实体模型。

AvatarMe 是第一个能依据单一图象形成较高像素 三维 面部实体模型的系统软件。在未来，AvatarMe 或可用以视频会议系统等每个 VR 应用领域。

此项科学研究发布于 CVPR 2020，论文标题为《AvatarMe：“在野外”的真实的可渲染的 3D 脸部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。

毕业论文连接：

https://arxiv.org/pdf/2003.13845.pdf

CVPR（Conference on Computer Vision and Pattern Recognition）是由 IEEE 举行的人工智能算法和计算机视觉行业的顶尖大会，这届大会在 6 月 13 日到 6 月 19 日中间举行。

AvatarMe：根据一张照片形成真实的 三维 面部

三维 面部模型是人工智能算法、图象处理、深度学习行业的科学研究聚焦点之一。过去两年，很多科学研究精英团队产品研发了根据形成竞技性互联网（GAN）的 三维 面部模型系统软件。

GAN 由一个形成互联网和一个辨别互联网构成。GAN 实体模型的学习过程便是形成互联网和辨别互联网的互相博奕的全过程：形成互联网任意生成一张图片，让辨别互联网分辨这张图片的真伪，进而依据辨别互联网得出的意见反馈持续提升 “作假”工作能力，最后保证真假难辨。

可是，在根据随意人脸照片形成 三维 面部实体模型层面，目前的解决方法广泛特性较弱，形成的 三维 面部实体模型屏幕分辨率较低。

纽约帝國理工大学和新成立公司 FaceSoft.io 的科学研究工作人员觉得，这是由于2个缘故：

一方面，科学研究工作人员欠缺可用以学习培训的数据信息；另一方面，可取得成功运用于高像素数据信息的稳进方式 也较为少。

为了更好地处理这种难题，纽约帝國理工大学和新成立公司 FaceSoft.io 的研发人员捕捉了一个有关脸部样子和透射率的大中型数据。

另外，科学研究工作人员选用根据造型艺术情况的 三维 纹路和样子复建方式 ，以3D渲染需要的每清晰度屏幕分辨率和全反射份量。最后，科学研究工作人员取得成功地提升了 三维 面部模型結果。

▲AvatarMe 系统软件的管路結果

选用二种捕捉方式 搜集超 200 张面部图象

为了更好地创建可用以训炼的人脸数据集，科学研究工作人员选用二种方式 搜集数据信息。

第一种方式 中，科学研究工作人员运用一个有 168 个灯源的电极化 LED led玉米灯和 9 台单反，捕捉高像素的孔隙度级面部透射率图。电极化 LED led玉米灯中，一半的灯源是垂直极化的，另一半灯源是水平极化的。二种电极化方法的灯源交叠排列。

第二种方式 中，科学研究工作人员运用非电极化的 LED led玉米灯开展色彩空间剖析，以捕捉解缠的纹路。对比于第一种方式 ，运用非电极化的 LED led玉米灯只需捕捉不上一半的数据信息，因而捕捉時间较短短的。此外，因为不用偏振片（polarizer），非电极化的 LED led玉米灯设定也非常简单。

根据这二种方式 ，科学研究工作人员收集到超出 200 个不一样年纪和特性的人的孔隙度级面部透射率图。为便于进一步科学研究，科学研究工作人员将搜集到的图象引进一个规范网络拓扑结构中，创建面部数据库查询。

科学研究工作人员将这一数据库查询取名为 RealFaceDB，依据毕业论文，与类似面部数据库查询对比，RealFaceDB 经营规模为较大 。

▲将面部图象引进规范网络拓扑结构

不但可用低分辨率照片建模 戴墨镜相片也行

根据 RealFaceDB 数据库查询，科学研究工作人员逐渐训炼根据 GAN 的 AvatarMe 系统软件。

训炼全过程中，科学研究工作人员最先键入一张低分辨率的人像图片，用 三维MM 优化算法复建一个带纹路的基础立体图形。随后，运用一个非常屏幕分辨率互联网，科学研究工作人员复建纹路投射。下面，科学研究工作人员运用一个去照明灯具互联网得到高像素的漫反射光涵数（AD）。最终，科学研究工作人员运用漫反射光涵数 AD 和基础立体图形，推测别的一部分的涵数（AS、ND、NS），从而创建模拟仿真的 三维 面部实体模型。

训练有素，AvatarMe 系统软件能够輸出 4k高清 x 6K 屏幕分辨率的 三维 面部实体模型。

为了更好地评定 AvatarMe 的特性，科学研究工作人员键入任意照片，观查 AvatarMe 复建的 三维 实体模型是不是真实。数据显示，AvatarMe 系统软件复建的 三维 面部实体模型沒有造成伪影。此外，在相片主人翁戴有太阳眼镜的状况下，系统软件也可以较精确地模型。

总结：未来计划把 RealFaceDB 数据库查询开源系统

该项科学研究中，纽约帝國理工大学和新成立公司 FaceSoft.io 的科学研究工作人员设计方案出面部模型系统软件 AvatarMe。AvatarMe 能够运用随意一张人脸照片，创建出较高像素的 三维 面部实体模型。

科学研究工作人员还创建了类似数据库查询中经营规模较大 的 RealFaceDB 数据库查询。科学研究工作人员称，未来计划将这一数据库查询向科技界开源系统。

另外，毕业论文强调，RealFaceDB 数据库查询还存有一些局限。例如，RealFaceDB 数据库查询中欠缺来源于深皮肤颜色人种的样版。因而，在根据深皮肤颜色人种样版模型时，AvatarMe 系统软件创建的 三维 面部实体模型屏幕分辨率有一定的减少。