当前位置:网站首页>用一张草图创建GAN模型,新手也能玩转,朱俊彦团队新研究入选ICCV 2021

用一张草图创建GAN模型,新手也能玩转,朱俊彦团队新研究入选ICCV 2021

2021-08-08 15:40:52 分享者:常政

普通用户如何创建自己的生成模型?比如,用猫来创造艺术作品的用户可能不愿意使用普通的猫模型,而希望是一种特殊猫的定制模特,摆着特定的姿势:在附近、斜倚着,或者都向左看。一般来说,要获得这样的定制模型,用户必须管理成千上万的向左倾斜的猫图像,然后需要领域专家花几个月的时间进行模型训练和参数调整,才能生成一个较为理想的模型。
在这项工作中,朱俊彦等来自 CMU 和 MIT 的研究者提出 GAN Sketching,该方法通过一个或多个草图重写 GAN,让新手用户更容易地训练 GAN。具体地,该方法还能通过用户草图改变原始 GAN 模型的权重,并且通过跨域(cross-domain )对抗损失鼓励模型输出来匹配用户草图。
此外,该研究还探索了不同的正则化方法,以保持原始模型的多样性和图像质量。
  • 论文地址:https://arxiv.org/pdf/2108.02774.pdf

  • 项目地址:https://peterwang512.github.io/GANSketching

实验表明,GAN Sketching 可以塑造 GAN 来匹配草图指定的形状和姿态,同时保持真实感和多样性。研究者最后演示了生成的 GAN 的一些应用,包括潜在空间插值和图像编辑等应用。
它的效果是这样的:绘制一张猫咪草图,模型会匹配与草图神似的猫咪图片:
看起来在远处、趴着的猫咪:
匹配和你对视的猫咪:

版权声明
本文为[分享者:常政]所创,转载请带上原文链接,感谢
https://hub.baai.ac.cn/view/9136

随机推荐