基于深度神经网络的图片艺术化处理软件毕业论文
2021-11-05 19:24:24
摘 要
随着社交网络与计算机图像处理技术的发展,越来越多的人们在社交网络上分享照片之前,选择使用各种图片APP内置的滤镜效果来美化照片,或者使用专业的图像处理软件修改图片,以达到与别人不同的独特的色彩风格。而在照片作品中,图片的艺术色调风格是其展示效果与情感表达的重要组成部分。不同主题颜色风格的照片能具有给人以强烈的视觉冲击能力,吸引观赏者的眼球,著名的摄影艺术家们的作品往往也有着自己独特的色调风格。对于艺术色调风格的理解分类,以及如何利用对该风格的学习,自动生成具有类似风格的艺术化处理后的图片,是作品艺术量化中的重要问题,也是一种实现图片艺术化风格处理,实现一种新的滤镜特效功能的方法。
现有的图片风格迁移研究中,已有工作实现将原始图片按目标图片风格进行风格转换任务。其针对图片的纹理结构与颜色特征来进行提取与重新生成,更类似于人类创作图画作品的过程。而在保证图片纹理结构不改变而仅对图片色彩进行修改,实现色调风格转换任务中,已有最早的基于像素颜色值分布统计的颜色迁移方法,其能够实现将原始图片色调风格按目标图片风格进行转换,后面又提出了基于直方图匹配的改进方法。但直到最近随着深度学习技术的发展,人们才借助深度学习这一热门技术,实现了更为复杂与深层次特征学习的颜色迁移效果。
本文是基于深度学习技术与深度神经网络模型,实现了对一组具有相同或类似色调风格的图片构建其色调特征模型的任务。且在完成色调风格模型学习的基础上,实现了一个照片色彩渲染软件系统,通过该系统能够将输入照片转换为具有模型学习到的色调风格的输出图片,实现图片的艺术化处理效果。在确定了三种基于卷积神经网络结构ResNet、U-Net、ResUNet模型后,用本文方法生成的原始图片与目标风格图片组成的训练数据集来训练这三种模型,并对其学习效果进行测试与分析。最后基于web的方式构建了照片色彩渲染软件系统,实现用户上传照片文件至网站并进行在线图片色调风格转换的功能。
关键词:深度学习;神经网络;卷积神经网络;特征提取;色调风格
Abstract
With the development of social network and computer image processing technology, more people choose to use the filters built in various photo applications to beautify photos before sharing photos on social networks to achieve a unique color style. In photography, the artistic style of the picture is an important part of its display effect and emotional expression. Photos with different theme colors and styles can make people have a strong visual impact. Understanding the classification of color styles of artworks and how to use this learning style to automatically generate pictures with similar artwork processing styles is an important issue in the quantification of artworks. This is also a method to realize the artistic processing of pictures and new filters.
In the existing image style conversion studies, the original image is converted to the target image style based on the texture structure and color characteristics of the image. In addition to ensuring that the image texture structure not only changes the color of the picture, but also implements the task of color style conversion, the earliest existing color migration method is based on the statistics of pixel color value distribution. And later an improved method based on histogram matching is proposed. However, with the continuous development of deep learning technology, people have achieved more complex and deep feature learning color transfer effects with the help of popular deep learning technology.
Based on deep learning and deep neural network, this paper implements the task of establishing a color feature model for a group of images with the same or similar color style. On the basis of learning the color style model, a photo color rendering software system is realized, through which the input photos can be converted into output pictures of the color style learned by the model, so as to achieve the artistic processing effect of the pictures. After determining the three models based on the convolutional neural network structure ResNet, U-Net and ResUNet, the three models are trained using the training data set and the learning effect Tested and analyzed. Finally, a web-based photo color rendering software system was established, which realized the function of uploading photo files to the website and converting online photo color styles.
Key Words: Deep Learning; Neural Network; Convolutional Neural Network; Feature Extraction; Color Style
目 录
第一章 绪论 1
1.1研究背景与意义 1
1.2研究现状 2
1.3本文研究目标及内容 3
1.4论文结构 3
第二章 色调风格转换处理模型与关键技术 1
2.1系统结构与处理模型 1
2.2关键技术 3
2.2.1深度学习与深度神经网络 3
2.2.2神经网络中的归一化算法 6
2.2.3 Tensorflow与计算图概念介绍 8
2.3开发环境与工具 9
2.4小结 10
第三章 照片色调特征模型构建 11
3.1实验数据介绍 11
3.1.1 滤镜色调风格照片数据集 11
3.1.2 高级色调风格照片数据集 14
3.1.3 数据预处理 15
3.1.4 数据增强技术 16
3.2 ResNet残差网络模型 17
3.2.1 模型设计 17
3.2.2 模型训练 19
3.2.3 测试与分析 20
3.3 U-Net全卷积神经网络模型 21
3.3.1 模型设计 21
3.3.2 模型训练 23
3.3.3 测试与分析 23
3.4 ResUNet模型 24
3.4.1 模型设计 24
3.4.2 模型训练 26
3.4.3 测试与分析 28
3.5 小结 29
第四章 系统实现与性能测试 30
4.1照片色彩渲染软件系统实现 30
4.2 软件系统功能测试 33
4.3 渲染模型的性能与效果测试分析 35
4.4 小结 36
第五章 结束语 38
5.1论文工作总结 38
5.2问题与展望 38
参考文献 39
致谢 41
第一章 绪论
1.1研究背景与意义
随着互联网技术的兴起以及计算机技术的不断发展,网络中的媒体传播形式越来越丰富。网络不再因带宽限制而仅限于最初以文字信息为主的传播形式。如今,以图片、视频等多种方式为主的信息量更大更丰富的媒体才真正构成了现在缤纷多彩的互联网世界。图片作为这其中最常用的一种形式,有着其直观以及能够进行艺术情感表达的特点,广受互联网用户的使用。用户只需随手用手机拍摄就能记录眼前五彩世界的样貌,并上传至社交网站与好友分享。随着计算机图片处理技术的迅速发展,手机照片等图片的表达能力有了很大提升,人们在分享照片前会借助各种软件内置的美颜,滤镜特效等功能,甚至使用专业的图片编辑软件如PhotoShop等,来按照自己的想法修改图片,融入自身的情感与品味实现一个艺术再创造的过程。如现今十分流行的Instagram便是一款主打以图片社交的社交网络APP,其内置的预置色调风格滤镜就达上十种,并且还在不断更新更多种特别风格的滤镜特效以满足不同用户的需求。如VSCO等滤镜软件则专门以开发新的收费滤镜的方式来实现盈利目标。可见开发一款与众不同的能实现滤镜效果的图片艺术化处理软件,具有一定的实际意义与商业价值。
艺术色调风格是作品展示效果与情感表达的重要构成。如一副梵高以深蓝色为基调绘制的令人感觉沉重的油画《星空》,一副齐白石有着花红墨叶和明丽色彩的水墨画作品。举世闻名的艺术家们常有着自己独特的色彩艺术风格。在美术,尤其是绘画中,人类已掌握了通过在图像的内容和样式之间进行复杂的相互作用来创造独特的视觉体验技能,但大脑如何实现该过程的方式还是未知的。对于艺术色调风格的理解和分类,以及如何利用对该风格的学习,自动生成具有同样风格的艺术化处理后图片,是图片作品艺术量化中的重要问题,也是用来实现一种图片艺术化处理软件的新方法。