论文总字数：17570字

摘 要

图像修复是针对某种图像具有缺失或遮蔽的区域，利用新生成的内容来填充图像中缺失或隐蔽的区域，形成自然的视觉效果。基于生成对抗网络（GAN）的图像修复算法已经在建模高维分布方面取得巨大飞跃，特别是，在针对特定类别的数据集如高质量样本方面已取得了显著成功。但是，捕获具有多个对象类的高度多样化的数据集的分布仍然被认为是一项重大挑战。对此，本文利用了一种新的技术，即单一生成对抗网络（SinGan）技术来将GAN带入了用单个自然图像中实现无条件生成的领域，对单个图像中斑块内部分布进行建模，得到许多下采样版本的图像，进行训练从而实现图像修复算法的研究。

首先，将原图像编辑使之成为破损的图像，并得到其对应的mask图像，然后将编辑后的图像注入到不同的尺度的编码器然后正向传播到顶端输出得到，最后，将其输出的图像与原图中未被编辑的图像进行结合，最终能够得到“修复”后的图像。通过将修复后图像与原图像的进行主客观的比较，经不同尺度的编码器编码后“修复”的图像，修复的效果也不一样，能够产生很好的效果。

实验结果表明，本文方法实现了图像修复区域的修复任务，并通过了主观和客观的评价标准，证明了该方法具有超越纹理的能力，并且能够生成完整逼真的各种图像。

关键词：图像修复；单一生成对抗网络；对抗损失；重建损失；定量估计

Abstract

Image repair is to fill in the missing or hidden areas in the image with newly generated content to form a natural visual effect.Image repair algorithms based on generative adversarial networks (GAN) have made tremendous leaps in modeling high-dimensional distributions. In particular, they have achieved significant success in targeting specific categories of data sets such as high-quality samples. However, capturing the distribution of highly diverse data sets with multiple object classes is still considered a major challenge. In this regard, this paper uses a new technology, the single generation confrontation network (SinGan) technology to bring GAN into the field of unconditional generation with a single natural image, modeling the internal distribution of plaques in a single image, Obtain many down-sampled versions of images and train them to implement research on image restoration algorithms.

First, edit the original image to make it a damaged image, and get its corresponding mask image, then inject the edited image into an encoder of different scales and then forward it to the top to get the output, and finally, output it The image is combined with the unedited image in the original image, and finally the "repaired" image can be obtained. By subjectively and objectively comparing the restored image with the original image, the image "repaired" after being encoded by encoders of different scales has different repair effects and can produce very good results.

The experimental results show that the method in this paper achieves the task of repairing the image repair area, and passes the subjective and objective evaluation criteria, proving that the method has the ability to surpass the texture and can generate complete and realistic various images.

Key words: Image restoration；Single generation adversarial network； Adversarial loss； Reconstruction loss；Quantitative Evaluation

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1研究背景与意义 1

1.2国内外研究现状 1

1.2.1传统方法 2

1.2.2深度学习方法 3

1.3本文主要工作 3

第2章 相关理论及算法研究 5

2.1人工神经网络 5

2.1.1神经元基本结构 5

2.2生成式对抗网络（GAN） 6

2.2.1GAN模型原理及模型结构 7

2.2.2GAN的优缺点 9

第3章 基于SinGan的图像修复 10

3.1SinGan的原理及基本结构 10

3.2SinGan的生成、训练过程 11

3.2.1SinGan生成过程 12

3.2.2SinGan训练过程 12

3.3实例分析 13

3.3.1实验环境 13

3.3.2实现过程 13

3.4困难及解决方式 16

第4章 总结与展望 18

4.1结论 18

4.2展望 18

参考文献 20

致 谢 22

第1章 绪论

1.1研究背景与意义

通过视觉图像是人面对世界获取信息最直接的方式，因此，图像对人们有着重大的作用，而图像修复的起源于是人们希望能够对于修复但是却残缺的艺术品进行修复，让其能够恢复原样，用来让人们欣赏，学习并传承，称这一过程为“图像修复”^[1]。具体指的是当一张图片中存在破损或者缺失的情况下，人们利用已有的相关信息以及对应技术来对这些缺失局域进行修复或补全的工作。研究人们已经发现了当传统的方法，即基于物理的模型发展到一定的阶段时候，仍然具有很大的局限性，但是如果使用计算机来理解各种模型的时候，就能够更方便地理解其中包含信息，更好地对图像进行处理。目前，数字图像修复技术已经运用到人们的生活的方方面面中，虽然已经产生了大量的相对先进的数字图像处理软件能够对图像进行修复，但是就目前的技术，如果要能够产生很好的修复效果，还需要人们对于图像相关知识的了解以及对于图像处理工具的熟练，因此人们十分希望能够创造处一种相对简单，但是却更加高效智能的图像修复技术。

至今，图像修复已经渗透到各个领域，对于科学研究、医疗卫生、工业操作和电影艺术等方面有着极其重要的作用，因此图像修复对我们的生活有着积极的影响，它可以应用于现代生活的很多方面，例如：

1. 社交娱乐：人们都会利用网络来分享自己的日常生活，这使得图片编辑器的出现，这些软件中的图像修复技术，能够任意的去掉或添加各种物件，这样子既能够增加娱乐性，也有助于模型的发展。
2. 刑事侦查：对于大部分的刑事案件，即使社会上的摄像头能够拍到相关的作案人员，但是由于天气，灯光的因素的缺陷，使得能够得到的人脸图像可能产生缺陷，这会产生极大的困难。但是如果使用图像修复技术，就能够迅速地获得比较高质量的图片。
3. 航空技术：目前，很多国家会使用飞机来进行摄影工作，并利用计算机的图像处理系统来对处理得到的图片，大大的加快了处理的速度，从而得到大量的有用情报，满足了人们对于宇宙的好奇心，比如之前的黑洞照片，就是人们通过相关的图像修复技术将拍摄的照片呈现在我们眼前。

如今，虽然图像修复技术仍然有他的缺陷，但是目前的技术也能够应用于很多领域，对我们的生活产生积极的意义，所以图像修复技术已经成为了人们火热研究的东西。因此，图像修复方法的研究仍然是一个潜能很大的研究课题^[2]。

1.2国内外研究现状

请支付后下载全文，论文总字数：17570字