论 AI 能干什么:一键让二次元老婆微笑,还能把猫脸瞬间变成ithome

这篇文章内容给诸位网民产生的新闻资讯是：论 AI 能做什么：一键让二次元老婆笑容，还可以把猫脸一瞬间变为狗脸 敬请赏析下面

给一行二次元老婆的脸蛋儿；下一行就能让他们所有微笑起来：

或是针对猫奴们而言，把老虎猫变为？，把狗变为狼？，还能够把老虎狮子变成猫：

阿这，等一等，让我来捋一下：老虎狮子 —>> 猫 ——>> 狗 ——>> 狼，这简直说，老虎狮子 == 狼了？

针对这一点，也许众多网民们早已习以为常了，终究苏大强还可以超级变身吴颜祖：

没有错，如同大伙儿所猜中的一样，今日为大伙儿详细介绍的便是一款能够学习培训根据控制隐室内空间词义开展面部特性编写的 GAN 实体模型 —— L2M-GAN。

它是北京大学高瓴人工智能技术院校卢志武教师试验室精英团队明确提出的实体模型，毕业论文早已被 CVPR 2021 接受为 Oral，毕业论文题目：《L2M-GAN: Learning to Manipulate Latent Space Semantics for Facial Attribute Editing》。

毕业论文详细介绍

面部特性编写每日任务的总体目标是控制真正面部照片的词义特性，其在实际中拥有 普遍的运用，比如游戏娱乐、輔助心理疗法及其数据增强这些。伴随着深层生成模型的发展趋势，近期的工作中大多数以 GAN（Generative Adversarial Network）为基本。目前的面部特性编写实体模型遭遇的一个关键挑戰是要与此同时达到2个规定：

（1）恰当地改动要想的特性；（2）保存其他不相干的信息内容。可是由于不一样特性中间存有着各种各样关联，且特性与身份证信息中间也存有着关联，因此 在改动一个特性时很可能无意间地造成别的特点的更改，这造成了与此同时达到这两个特性是很艰难的。

为了更好地达到这两个标准，一些全新的方法选用了室内空间专注力的方式。这类方法假定每一个特性拥有 一个相匹配的部分地区，照片的特性实际操作能够被限定在这里一地区中。他们根据互联网中的专注力控制模块去学习建模这一地区，一但这一地区被明确，他们便能够应用掩码和方差和的方式完成仅在一部分地区内开展编写。

可是这一假定并不是对全部的特性都达到，例如性別、微笑等特性，这种特性相匹配的地区基本上遮盖了全部面部且与别的特性地区重合。因而这类实体模型在控制这种特性时实际效果并不太好。另一部分方式则把专注力放到对 GAN 学得的隐室内空间中开展隐变量的溶解，进而根据溶解获得特性有关的空间向量。给出一个预训炼好的 GAN 实体模型，他们通过学习子投射的方法将原空间向量投射到表述相匹配特性的空间向量。

可是这类方法依然存有2个难题：

（1）他们取决于预训炼好的 GAN 实体模型给予的隐室内空间，并不模型拟合再次训炼。这类沒有再次开展端到端训炼的实体模型的隐室内空间可能是一个次提升的隐室内空间。

（2）这类方法通常只在数据给予的好多个标识中间开展解耦，可是也有很多并沒有被包括在这种预订义的标识中的信息内容必须被解耦，比如阳光照射信息内容和身份证信息等。

为了更好地摆脱这种限定，文中明确提出了一个新的隐室内空间溶解实体模型 L2M-GAN。

该实体模型开展端到端的训炼，并学习培训将隐空间向量确立地溶解为特性有关空间向量和特性不相干空间向量，以完成有关特性信息内容和别的信息内容的解耦。与以前的这类方法相近，大家也依据特性标识对隐室内空间中的自变量开展解耦，可是不一样的是，大家确立地将其溶解为特性有关的空间向量和特性不相干的空间向量，并非只是对2个预订义的特性开展解耦。

方式

在详细介绍大家的方式以前，大家先界定“域”这一定义。“域”指的是一些特性的值组成的组成。例如要想编写特性 < 性別，年纪 > 时，一共存有 4 个“域”，< 男士，年迈 >，< 女士，年迈 >，< 男士，年青 >，< 女士，年青 >。给出一张键入照片和它所相匹配的域，及其总体目标域，大家的目地是生成一张归属于总体目标域的照片，与此同时保存键入照片的与域不相干的信息内容。

如下图所显示，大家明确提出的实体模型由三个一部分构成：设计风格伺服电机、设计风格转化器和制作器。

在多任务学习的设定下，大家的设计风格伺服电机由好几个域的輸出支系构成。为了更好地表述便捷，图中中仅表明了一个域的輸出。

设计风格伺服电机是 L2M-GAN 的重要构成部分，它由分解器和域转化器2个部件组成。在其中，分解器从初始的隐空间向量中溶解出与域不相干的（特性不相干的）空间向量 S_un，再根据求差能获得域有关的（特性有关的）空间向量。由于大家的总体目标是改动总体目标特性到总体目标域中，而别的不相干的信息内容不容易被改动。这类状况会发生，当且仅当和 S_un 是互相竖直的，且改动后的空间向量也与 S_un 是互相竖直的。

因此，大家引进了竖直损害来对这两个空间向量开展限定。特别注意的是，以前的方式应用竖直损害来对2个特性开展解耦，而 L2M-GAN 则用该损害来把特性有关的信息内容和别的全部不相干的信息内容分离去。这对特性编写中保存别的信息内容这一规定是尤为重要的，由于别的的特性标识并不可以包含全部的不相干信息内容。在获得域有关空间向量之后，L2M-GAN 根据域转化器把它变换到总体目标域中，获得表明总体目标域信息内容的域有关空间向量。其与域不相干空间向量 S_un 求和后便可获得编写之后的隐空间向量。

制作器以一张键入照片和一个编写后的隐编号做为键入，转化成一张总体目标域的照片，其包括总体目标域信息内容和键入照片的与域不相干的别的信息内容。与 StarGAN V2 相近，大家的制作器也选用 Adaptive Instance Normalization（AdaIN）构造来将隐编号中包括的设计风格信息融合到键入照片中。

试验

我们在普遍应用的 CelebA-HQ 数据上开展试验。大家依据 CelebA 的区划及其 CelebA 和 CelebA-HQ 照片间的对应关系，把 CelebA-HQ 区划为 27176 张训炼照片和 2824 张测试图片。

大家将大家的方式与别的几类全新的方式开展了比照。文章正文中的试验几类在“微笑”这一特殊特性上，别的大量特性的結果大家放到了配件中。特别注意的是，“微笑”这一特性是数据所给的 40 个标识中最具趣味性的一个特性，由于其与此同时涉及到面部中的好几个一部分，加上和清除微笑都必须实体模型对键入照片有高級的词义了解，那样才可以与此同时改动好几个面部照片的构成部分而不更改别的信息内容。

从数据可视化結果中能够见到，StarGAN 和 CycleGAN 趋向于在嘴周边转化成模糊不清和失确实結果，因而在大部分生成图片中，他们无法非常好地恰当编写相匹配特性。ELEGANT 则一直把参照照片中与特性不相干的信息内容也转移到生成图片中，这是由于它开展特性互换的隐室内空间并沒有非常好地解耦。

PA-GAN 是根据室内空间专注力的方式，因而它不错地保存了一些不相干的信息内容，比如情况等，可是能够见到，应对无法界定明确改动地区的“微笑”特性，其一般会发生改动不充足的状况，因此没法恰当地编写特性。InterfaceGAN * 可以转化成高品质的照片，可是在一些关键点上依然做的不足好，例如双眼和嘴的转化成。与此同时其有时候会改动键入照片的身份证信息，这是由于其只是考虑到了特性间的解耦，而沒有考虑到真实身份等别的信息内容。

在量化分析結果上，大家关键选用了 FID 和特性实际操作准确度来各自点评合成图片的品质及其特性编写的結果准确率。能够见到除开在清除微笑这一結果上的 FID 比 PA-GAN 低，别的的結果全是超出了全部全新的結果的，而 PA-GAN 是以改动不充足为成本来做到较高的照片品质的。

除开以上結果，大家的实体模型还展示出了别的的工作能力，包含：操纵编写特性的抗压强度、与此同时改动好几个特性及其对未见过的照片的转移等。

由于训练有素以后的隐室内空间是一个学习培训到词义信息内容的持续室内空间，在我们线形地把转换到时，生成的照片所表明的有关总体目标域的词义信息内容也会慢慢提升，有关原域的词义信息内容会慢慢降低，与此同时由于大家对、与 S_un 的竖直限定，这一全过程始终不变别的不相干的信息内容。这一全过程能够表述为：

我们可以根据操纵超参数来操纵合成图片的有关特性的抗压强度。

除此之外，大家的 L2M-GAN 实体模型以 StarGAN V2 做为框架互联网，因此 能够很当然地开展多特性编写的每日任务。

文中还应用了数据外的图片测试了大家模型的泛化能力。能够见到，大家的模型在 CelebA-HQ 这一真正人脸数据集上训炼之后，立即在遍布差别较为大的日本动漫数据上检测还可以非常好地完成属性编辑的作用且生成品质很高的照片。

与此同时，为了更好地进一步认证大家模型构造的实效性，大家仍在非面部的小动物数据 AFHQ 上开展训炼。从数据可视化結果中能够见到，大家的模型在非人脸数据集上也可以做到非常好的属性编辑实际效果及其生成图片品质。这进一步认证了大家的方式的实效性及广泛性。

汇总

大家明确提出了一种新的根据隐室内空间溶解的面部属性编辑模型。

大家明确提出的模型 L2M-GAN 是第一个根据隐室内空间溶解的端到端面部属性编辑模型，其能够合理地编辑部分和全局性属性。这归功于明确提出的新的设计风格转化器将隐空间向量溶解为属性有关的一部分和属性不相干的一部分，并对变换前后左右的空间向量增加了竖直管束。很多的试验证实了大家明确提出的 L2M-GAN 比别的目前的方式有显著的改善。

此外本毕业论文早已开源系统，热烈欢迎大伙儿多多的使用、再来一个 star~

开源系统连接：https://github.com/rucmlcv/L2M-GAN

毕业论文详细地址：

https://openaccess.thecvf.com/content/CVPR2021/papers/Yang_L2M-GAN_Learning_To_Manipulate_Latent_Space_Semantics_for_Facial_Attribute_CVPR_2021_paper.pdf