基于深度学习的图像复原方法研究文献综述
2020-04-14 20:06:36
1.1课题研究背景和意义
所谓“图”,就是物体反射或者透射电磁波的分布;所谓“像”,就是人的视觉系统对接收的图信息在大脑中形成的印象。具体的说,所谓“图像”,就是用各种观测系统以不同形式和手段观测客观世界而获得的、可以直接或间接作用于人的视觉系统而产生的视知觉实体[1]。图像包含丰富的颜色、纹理、形状等特征,是人类主要视觉信息的来源。人类通过视觉获得的信息更利于记忆和便于理解。图像是利用多种观测系统包含人眼成像以不同的形式和手段得到的,其记录的信息无论是在生活还是科学研究中都非常重要。随着科学技术的飞速发展,近些年来图像复原技术深入到太空探索、医学图像、天文遥感、安全监测、案件侦破等各个领域,在其中发挥了重要作用。
然而,在图像的形成、传输、存储、记录和显示过程中,由于光学系统的像差、成像系统的非线性、大气扰动、运动、散焦和系统噪声等因素的影响,它们都会造成图像的模糊和变形,从而造成图像的退化,图像的信息就会部分或者完全丢失从而影响正常的使用[2]。要想得到高质量的原始数字图像,很多情况下,都需要对图像进行复原处理,使其和原图像尽可能的贴近.模糊种类又分为三类:高斯模糊、运动模糊和散焦模糊[3-4]。模糊图像复原根据点扩散函数(Point Spread Function, PSF)[5-6]是否已知将图像复原分为两种,当 PSF 函数已知时为非盲复原[7],如果 PSF 函数未知则称为盲复原[8]。非盲复原方法一般有逆滤波、维纳滤波法等传统方法[9],但这类方法需要大量的先验知识(比如PSF和噪声函数)需要对模糊核进行估测,存在鲁棒性[10]不够强,恢复的图像具有伪迹效应[9],已经不太符合实际中的需求。而盲复原方法[11]因为存在两类,一类为先估测模糊核,然后用经典的算法估计出原始的清晰图像,另一类则是对模糊核和清晰图像同时进行估计,两者交替进行学习。而盲复原方法中近些年广泛应用的就是卷积神经网路算法了,它不需要大量的先验知识。
所以,卷积神经网络的图像复原和深度学习技术的研究对图像复原技术的研究就有着十分重要的意义。
1.2国内外研究现状
在图像处理领域,图像复原在我们的生产和生活中发挥着重要的作用,近年来许多学者在研究各种各样的算法的和改善相关退化模型。不断在先验知识上对算法进行改进,它主要利用某些先验知识,如模糊核与图像在梯度域的稀疏性,或认为其服从某种分布,建立图像退化模型。对退化模型求逆过程就是图像复原的过程。而基于卷积神经网络的图像复原算法,避免了对先验知识的需求,通过对模型的训练,直接学习模糊图像到清晰图像之间的映射关系,然后将需要复原的图像输入进去,就可以得到较好的复原结果,这一方法成为图像研究领域的热门对象。
图像复原最早的方法是逆滤波,该方法就是通过傅里叶变换将退化后的函数转换为原函数,但这种方法在模糊去除的过程中没有考虑到噪声的影响,而是直接使用模糊图像的退化函数的逆变换函数来移除图像模糊。在噪声可以忽略的情况下,该方法有较好的模糊去除效果,一旦噪声不可忽略时,模糊去除的效果往往较差。
所以,诺波特·维纳在20世纪40年代根据逆滤波进行改良提出了维纳滤波法,即假定线性滤波器的输入为有用信号和噪声之和,两者均为广义平稳过程且知它们的二阶统计特性,根据最小均方误差准则求得最佳线性滤波器的参数。维纳滤波器是一种自适应最小均方误差滤波器。它用的最优准则是基于图像和噪声各自的相关矩阵,能根据图像的局部方差调整滤波器的输出,局部方差越大,滤波器的平滑作用就越强。但可能使图像的四周处理的过于平滑,影响图片质量,而且该方法需要大量的先验知识(噪声和原清晰图像已知)。所以,该方法具有一定的局限性。
1943年,心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型,称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法,证明了单个神经元能执行逻辑功能,从而开创了人工神经网络研究的时代;1981年,法国地质学家Morlet在寻求地质数据时,通过对Fourier变换与加窗Fourier变换的异同、特点及函数构造进行创造性的研究,首次提出“小波分析”的概念[12],小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合,因而具有较强的逼近能力和容错能力;1990年Kaihara、T.Takabe和M.Toyoda等人根据生物神经元的混沌特性首次提出混沌神经网络模型,将混沌学引入神经网络中,使得人工神经网络具有混沌行为,更加接近实际的人脑神经网络,与常规的离散型Hopfield神经网络[13]相比较,混沌神经网络具有更丰富的非线性动力学特性,它将大大改善Hopfield神经网络的记忆能力。混沌吸引子的吸引域存在,形成了混沌神经网络固有容错功能。这将对复杂的模式识别、图像处理等工程应用发挥重要作用;而今比较热门的方法是卷积神经网络(Convolutional Neural Networks, CNN)[14-15],CNN由纽约大学的Yann LeCun于1998年提出。CNN本质上是一个多层感知机,其成功的原因关键在于它所采用的局部连接和共享权值的方式,一方面减少了的权值的数量使得网络易于优化,另一方面降低了过拟合的风险。CNN是神经网络中的一种,它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。在二维图像处理上有众多优势,如网络能自行抽取图像特征包括颜色、纹理、形状及图像的拓扑结构;在处理二维图像问题上,特别是识别位移、缩放及其它形式扭曲不变性的应用上具有良好的鲁棒性和运算效率等。
随着数字信号处理和图像处理的发展,新的复原算法不断出现。基于深度学习的图像复原方法的研究,深度学习技术和神经网络算法是当前比较热门的研究对象。与传统方法相比,其优势体现在并行能力强,具有自适应功能,能够根据学习结果提供样本和输出的内在联系,可以很好的拟合非线性问题,并且泛化能力(对新样本的适应能力)强,而且不需要大量的先验知识,因此被广泛应用于解决图像处理领域的问题。