5001拉斯维加斯-GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

作者：5001拉斯维加斯文化更新时间：2026-04-28 21:48:54 点击数：

导语：从气势派头迁徙到特性解耦、语言观点解耦，研究职员正经由过程数学及语言慢慢改善GAN的功效。 GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

作者 |莓酊

编纂 | 青暮

起首想让各人猜一猜，这四张图中你感觉哪张是P过的？小编先留个牵挂不宣布谜底，请继承往下看。

天生匹敌收集(Generative Adversarial Network, GAN)是经由过程让两个神经收集匹敌进修天生数据的要领。GAN从伊始到此刻成长“壮年夜”，好比咱们认识的PGGAN及StyleGAN，已经经可以天生高质量、高分辩率的图片。近来英伟达、多伦多年夜学及麻省理工年夜学的研究者们为GAN“家族”又添一员—— EditGAN。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

年夜大都基在 GAN 的图象编纂都需要于具备语义支解解释的年夜范围数据集上练习，并只提供少少的修改，或者仅于差别图象之间举行插值。

而EditGAN作为一种高质量、高精度语义图象编纂的新模子，答应经由过程修改高邃密度零件的支解掩码（Segmentation mask）来编纂图象。简而言之，EditGAN能本身P图，并且还有P患上尤其好。就如上图所示，除了了第一张是小哥原版的“邪魅笑脸”，其余都是EditGAN的作品，请问你猜对于了吗？

EditGAN是成立于GAN框架上，该框架是对于图象和其语义支解 (DatasetGAN) 举行结合建模，只需要极少量标志数据就能练习，进而成为可扩大的编纂东西。

利用 EditGAN 举行高精度语义图象编纂

于动图中可以更直不雅地不雅察到EditGAN的修图效果：

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

详细来讲，就是将图象嵌入到GAN潜于空间中，并按照支解编纂履行潜于的代码优化从而高效地修改图象。为了摊销优化，研究职员于潜于空间中找到编纂向量，并答应肆意数目的编纂向量以交互速度直策应用在其他图象。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

以可爱猫猫的“张嘴编纂”为例：

横向第一排是图象及进修编纂向量的蒙版，编纂先后的对于等到原图的支解掩码及手动修改后的方针支解掩码。第二排是EditGAN将进修提炼到的编纂运用在新图象的先后对于比。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

试验证实，EditGAN 可以用史无前例的细节自由度操作图象，同时连结高质量的完备度。并且还有可以轻松组合多个编纂，于 EditGAN 的练习数据以外履行合理的图象修改。

今朝只有EditGAN可以到达如许的效果！年夜大都基在GAN 的图象编纂要领，有的依靠在GAN对于类标签或者像素级语义支解解释的调治，其他则需要辅助属性分类器引导合成编纂图象。并且练习它们必需违靠年夜型标志数据集，致使这些要领今朝仅合用在年夜型解释数据集的图象类型。除了此以外，纵然解释可用，但因为解释只包罗高级别全局属性或者相对于大略的像素支解，年夜大都技能只提供有限编纂操作。

而EditGAN的“制胜法宝”就于在：高精度的支解掩码（Segmentation mask）。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

具体的脸部标志，连鱼尾纹、法律纹都有属在本身的语义模块，实在年夜可没必要这么真正的。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

汽车、鸟及猫的部门标志模版也是无比邃密了。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

于EditGAN的交互式演示东西中，经由过程调解响应部位的支解掩码就修改图象。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

还有能同时运用多个编纂，并使用预界说的编纂向量天生新图象。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

EditGAN于绘画作品上的泛化运用也很精彩。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

可以说，EditGAN是第一个GAN驱动的图象编纂框架，它能提供很是高精度的编纂，只需要很少带解释的练习数据（而且不依靠在外部门类器），运行及时交互，答应多个编纂的直接组合，并合用在真实嵌入、GAN天生图象，甚至是域外图象。

GAN框架下的编纂图象成长

计较机视觉（Computer Vision, 简称CV）范畴取患了很多进展。2012年以前，人工设计（hand-designed）是计较机视觉的重要研究要领。2012年，深度神经收集（Deep Neural Network, DNN）于ImageNet的分类使命上阐扬了巨高文用，热点研究如：主动驾驶，物体辨认，对于人体的理解等等。直到2014年，计较机科学家Ian Goodfellow发表天生匹敌收集（GAN）的创始性论文，开启了深度进修的厘革，取患了许多技能上的庞大冲破。虽然天生匹敌收集原先是为了无监视进修提出的，它也被证实对于半监视进修、彻底监视进修、强化进修是有效的。于一个2016年的钻研会，杨立昆描写天生式匹敌收集是“呆板进修这二十年来最酷的设法”。

GAN包罗了两个神经收集，天生器G（Generator）及辨别器D（Discriminator），天生器的作用是天生图片，辨别器则吸收图片作为输入对于象，随后对于图象的真假举行鉴别，输出1为真，输出0则为假。于博弈的历程中二者都于不停变强，即天生器产出的图象愈发“惟妙惟肖”，辨别器也越发“火眼金睛”。练习效果到达峰值后，这时候再把D直接拿来作为图片天生器。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

下面咱们将从气势派头迁徙、特性解耦及语言观点解耦三个方面，向各人展示GAN框架之下的视觉天生成长过程。

1气势派头迁徙

这一阶段的图象天生技能继续自CycleGAN、pix2pix等经典模子，属在前提天生，也就是基在确定的输入来获得输出，而不是像GAN那样经由过程随机采样天生，从而输出越发可控，或者者患上以实现对于输入的气势派头化编纂。

于此基础上，人们根据“输入-输出”配对于的套路开发出了各类差别的弄法，好比漫画真人化、风光动漫化、静物变“动物”、2D变3D等等。

“纸片人”变“真人”

YouTube博主AIみかん经由过程呆板进修天生灌篮妙手里各脚色的真人版，80后90后泪目直呼“爷青回”。他利用的恰是由艺术家Joel Simon于2018年创立的Artbreeder。Artbreeder是基在StyleGAN及bigGAN的于线图象天生网站（曾经被GANBreeder），人们利用它已经经创造了跨越5400万张图象。除了了可将漫画人物转化为真人，还有有肖像，风光，修建等图片天生模式，网址：https://artbreeder.com/browse。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

实际变“漫画风”

由清华年夜学，卡迪夫年夜学的研究职员提出的CartoonGAN，作者们设计了一个GAN收集框架，用非成对于图象练习GAN模子，可以或许利用漫画气势派头直接重现实际世界的场景。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

论文链接：https://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

研究职员提出了丧失函数，于天生器里VGG收集中引入高阶特性映照稀少正则化以包管实际照片及天生漫画之间气势派头差。于辨别器里提出推进边沿的匹敌丧失，以确保天生边沿清楚的图片。CartoonGAN有四种练习好的模子：宫崎骏风、细田守风、今敏风及新海诚风。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

“静物”变“动态”

2020年年夜谷教员利用四个AI模子“复生”了戎马俑。别离是基在StyleGan2的Artbreeder、First-order-model、DAIN、Topaz Labs，都是练习好的模子。

于整个修复历程中，每一张图都要根据挨次用这4个AI模子举行处置惩罚。此中，Artbreeder把脚色从绘画转成写实气势派头，First-order-model天生人物动态，DAIN举行补帧（60fps），末了用Topaz Labs晋升分辩率，利用的显卡是Nvidia 2080Ti。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

年夜谷教员其他“神笔马良”作品。

“2D”变“3D”

上海交通年夜学及华为公司结合提出基在GAN的感知天生器CIPS- 3D，利用单视角图片，无需收罗样本，就能天生视觉立体图象。CIPS- 3D于浅层利用的是主卖力把人像从2D变3D的NeRF（Neural Radiance Fields，隐式神经表达法），于深层收集设置为能让合成图象保真的INR（Implicit Neural Representations，神经辐射场）。为解决镜像对于称问题，研究职员于神经收集中添加了一个辨别器，用以辅助甄别镜像问题。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

论文地址：https://arxiv.org/pdf/2110.09788.pdf

不撑持于 Docs 外粘贴 block

固然，这类图象天生或者编纂模式比力单一，凡是一个模子只能实现一个功效。

人们最先思索，是否可以实现一个模子、多种PS？固然可以，奥秘藏于向量空间的特性解耦中。

2特性解耦

特性解耦就是，于神经收集的输入层及输出层之间的编码层，也就是向量空间中，将图象的差别特性分化开来，从而转变一个特性的时辰，不会影响另外一个特性。这恰是实现一个模子、多种PS的须要前提。

好比由加州年夜学伯克利分校提出的InfoGAN。InfoGAN可以于向量空间节制天生图象的差别变量，而且不会互相关扰，好比MNIST数据集中的数字类型、扭转角度，以和人脸天生中的五官节制等等。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

论文链接：https://arxiv.org/pdf/1606.03657.pdf

于尺度的GAN中，天生数据的来历通常为一段持续单一的噪声z，这会致使Generator会将z高度耦合处置惩罚，z将不成注释。作者对于GAN的方针函数举行改良，让收集进修拥有可注释的特性暗示。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

于InfoGAN中，模子的输入就被分成为了两部门：

（1）不成压缩的 z，该部门不存于可以被显式理解的语义信息。

（2）可注释的隐变量 c，该部门包罗咱们体贴的语义特性（如 MNIST 数据集中数字的歪斜水平、笔划的粗细），与天生的数据之间具备高相干性（即两者之间的互信息越年夜越好）。

对于在可注释的部门，另外一篇论文于特性空间层面给出了越发详细的注释。

中国香港中文年夜学助理传授周博磊于CVPR2020提出了一个叫InterFaceGAN的要领，这个要领就是为了于隐空间跟末了输出图片的语义空间成立接洽。这个要领自己很是简朴，可是颇有效。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

详细步调是，练习好了天生模子事后，就获得了一个隐空间。然后可以从隐空间内里举行采样，把这些采样出来的向量放到天生器之中，举行图片天生，后面可以再接一个现有的分类器，给天生的图片打上一个详细的语义标签（好比性别标签）。

如许就能够把猜测出来的标签当成隐空间向量的真实标签，从而进一步再回到隐空间，把猜测的标签当做真实标签，然后练习一个分类器，对于隐空间向量举行分类。

研究发明，于隐空间内里，GAN实在已经经把隐空间的向量变患上很是解耦。只需要用一个线性分类器，就能够于隐空间里实现90%摆布的二分分类正确率。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

于练习了一个线性分类器后可于隐空间里获得了一个子空间，这个子空间就对于应了天生图片的性别。

固然，要实现这类有明确语义的编纂方式，除了了依赖数学的气力，也能够借助语言的邪术。好比，OpenAI于2021年头提出的DALL·E就经由过程直接的文本-图象映照，实现了视觉效果冷艳，同时语义对于应上靠近填空的节制力。

好比输入“竖琴状的蜗牛”，AI可以天生如许的图象：

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

要知道，这些图象于练习集中是不存于的，不能不使人思疑AI得到了人类般的观点组合能力，也就是基在语言思维的观点解耦能力。

3语言观点解耦

StyleCLIP进一步将这个能力邃密化，固然这个模子也比DALL·E好实现多了。

由自希伯来年夜学、特拉维夫年夜学、Adobe 等机构的学者们提出了名为StyleCLIP模子，它可以只“听”文字指令就能“画”出你想要的图片。

StyleCLIP是StyleGAN 及 CLIP 两种模子的“进化体”。它既保留了预练习 StyleGAN 天生器的天生能力，也拥有CLIP 的视觉语言能力。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

论文地址：https://arxiv.org/pdf/2103.17249.pdf

论文中有3种联合StyleGAN及CLIP的要领：

Optimizer：以文本为引导的latent优化，此中 CLIP 模子被用作丧失收集。

Mapper：练习一个特定文本提醒的latent残差映照器，使潜于向量与特定文本逐一对于应。

Global dir：一种于StyleGAN的style space中将文本描写映照到输入图象的全局标的目的（global direction），提供了对于操作强度及解耦的节制。

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好

4尾声

从气势派头迁徙到特性解耦、语言观点解耦，研究者们正经由过程数学及语言慢慢改善GAN的功效，不管是从基本能力上，还有是从功效邃密化上，咱们也于这个历程中不停增进对于GAN的理解。固然，这两个标的目的并没有好坏之分，将来皆可期。

链接：

https://arxiv.org/pdf/2111.03186.pdf

https://mp.weixin.qq.com/s/h5gZCKRGZlG03DZL-2FWIw

https://tandon-a.github.io/Image-Editing-using-GAN/

https://mp.weixin.qq.com/s?__biz=MzA5ODEzMjIyMA== mid=2247571522 idx=1 sn=380ab14b7cf34783fd412e60713b6b48 chksm=9095d1d1a7e258c79fbfda93ac25b66f651af60b77e28c4c17855aecfc1979471a03205e1e55 token=1979387772 lang=zh_CN#rd

https://mp.weixin.qq.com/s?__biz=MzA5ODEzMjIyMA== mid=2247629931 idx=1 sn=3ee515e9f3e618c4cd05bb5841a96ecc chksm=909af5f8a7ed7ceebfcc48fd9e38140412b6244de846b6bd11e800f3f65b0985dfa4f674c927 token=1979387772 lang=zh_CN#rd

https://arxiv.org/pdf/2103.17249.pdf

GAN“家族”又添新成员——EditGAN，不但能自己修图，还修得比你我都好