Nvidia在2019年GTC大会的时候,披露生成对抗网络GauGAN能够将用户简单的草图,转换成为惊人的风景画,而其今日公布GauGAN2更加惊人,可根据用户输入的文本生成对应图像,例如让用户输入“sunset at a beach”等短语,人工智能就会即时生成场景图画,只要用户额外增加形容词,像是“sunset at a rocky beach”,或是将sunset改成afternoon或是rainy day,模型就会立刻修改图片。
演示视频:
<iframe src="https://player.youku.com/embed/XNTIwMTE2OTYwNA?client_id=5a73c0df8eb0d91d" allowfullscreen="" width="640" height="480" frameborder="0"> </iframe>
官方解释,GauGAN2在单个模型中,结合了分割映射、图像修复和文本到图像生成功能,使其能够根据文本和手绘,来创建逼真的艺术,而且这个最新发布的范例展示,是第一个在单个对抗网络框架中,结合文本、语义分割、草稿图和样式等多个模式,这样的方法让艺术家,能够以更丰富的方法,指引人工智能快速生成图像。
用户不需要描绘或是想象场景中的每个元素,只要输入简单的短语,模型就能够快速生成图像,并且符合短语的关键特征和主题,用户可以另外使用手绘图,来自定义景物,像是让山更高,或是前景添加几棵树,甚至是天空多一些云彩。
用户利用GauGAN2搭建图是一个迭代的过程,在文本框中输入的每个单词,都会让人工智能在图像中添加更多的内容,Nvidia提到,GauGAN2背后所使用的人工智能模型,应用了Nvidia Selene超级计算机,并且使用1,000万张高品质风景图进行训练,研究人员利用神经网络的特性,让人工智能学习单词和视觉效果间的关联,像是冬天、雾或是彩虹等。