基于深度学习的图形风格迁移算法的研究与实现文献综述
2020-04-26 11:54:23
1.1 研究目的
本课题是以不同图像之间的风格迁移为研究场景,重点完成让一个图像在不改变自身内容的情况下,具有给定参照图像的风格特征。在本课题中,神经风格迁移方法都是对静态图像进行处理的。它们可能不适用于其他类型的图像(如涂鸦、头像和视频)。目前有很多学者正在尝试将最先进的神经风格迁移算法应用到这些特殊类型的图像中。
1.2 研究现状
在对象和人脸识别领域,最近几年一些基于深度神经网络的模型表现出了与人类相近的能力。神经风格迁移正是基于神经网络,可以用它来生成具有特定艺术风格的图像。这类系统使用神经网络来分离和重组任意图像的内容和风格。此外该领域的工作为人类创造和感知艺术形象提供了一种算法理解的途径。
在图像处理任务中最强大的一类深度神经网络称为卷积神经网络。
Gatys等人的研究证实了卷积神经网络(CNN)确实可以取得令人惊叹的效果:通过分离和重新组合图片内容与风格,CNN 可以生成具有特定艺术风格的作品。使用 CNN 将一张图片的语义内容与不同风格融合起来的过程被称为神经风格迁移(NeuralStyle Transfer)。这之后,神经风格迁移在学术研究和产业应用中成了一个很热门的主题,日益受到计算机视觉研究者的关注,研究人员还提出了几种方法来提升或扩展 Gatys et al. 提出的神经算法[1]。
当前的神经风格迁移方法主要有两种:基于图片迭代的描述性神经方法(Descriptive Neural Methods Based On Image Iteration)和基于模型迭代的生成式神经方法(Generative Neural Methods Based On Model Iteration)。第一类方法通过直接迭代更新图片像素来实现图像风格迁移,第二种方法首先会迭代优化生成模型,接着通过一个单独前向通过来生成风格化图像。神经风格迁移的关键之一就是风格表征(representation of style),即预定义的风格损失函数。风格损失函数会被优化以匹配风格图像特征统计。根据采用的风格损失函数不同,我们可以进一步将这一方法分为基于最大均值差(MMD)的方法和基于马尔科夫随机场(MRF)的方法。尽管描述性神经方法能够生成出色的风格化图像,但仍有局限性。其中之一就是效率问题。第二类,亦即基于模型迭代的生成式神经方法(在某些论文中,也被成为「快速」神经风格迁移)解决了速度和计算成本问题,不过牺牲了模型的灵活性。关键思想就是在每个针对特定风格图像的大型图像数据集上提前训练一个前馈网络。使用梯度下降,通过迭代式地更新模型来优化网络模型[5]。
1.3研究意义
在美术,特别是绘画中,人类可以通过画面内容和画面风格之间的复杂联系来创造属于自己的拥有独特视觉体验的作品。目前为止,人们尚不能从算法角度理解这一过程,并且不存在具有类似能力的人造系统。艺术创作,一直以来就是人类展示创造力的重要领域之一。这对人们研究和理解智能具有重要意义。如果能用算法还原这一过程,将会是人类在理解智能的道路上的一个里程碑。研究意义,成熟的图像风格迁移系统可以在艺术商业化的过程中为人们节约大量的时间,或者是辅助用户进行创作和在社交网络上分享[2]。{title}2. 研究的基本内容与方案
{title}