视频图像去雪技术的FPGA实现文献综述
2020-04-14 19:44:33
近几年,图像处理技术和集成电路技术的快速发展,促进了很多相关行业的发展,尤其是视频处理方面。视频监控系统逐渐由室内转向室外,但室外不像室内周围环境情况相对稳定,容易受到雨雪天气的干扰,对于雨雪来说,它们在下落过程中会遮挡住视频中的目标物体,使物体的部分信息无法识别。室外监控系统主要是在视频中对目标物体进行检测,对目标物体的特征进行提取,对目标物体的行为进行识别,如果在雪天的场景,必然会对这些操作造成很大影响,对于各个领域来讲,雪天影响很明显,雪花形状比较大,不透明度比较高,下落速度比较慢,遮挡的面积也比较大,因此对在恶劣雪天的情况下,获得图像质量清晰的视频的研究已经成为当前图像处理技术领域的重点。
随着集成电路的不断发展,FPGA也变得越来越强大,FPGA可以并行处理,所以运算速度很快,并且对于可编程的FPGA,更具有灵活性,因此目前主流的方法都是用数字信号处理专用的芯片来对视频图像进行处理,现在的监控摄像头里都装置了集成图像处理算法的芯片。但是在完成芯片之前需要对算法进行验证,这时候就需要利用FPGA来设计验证。FPGA作为一个超大型的集成电路,应用在很多领域,如数据采集和接口逻辑领域、高性能的数字信号处理领域等。由于FPGA有灵活的可编程逻辑和强大的并行处理能力,对于大容量的数据,处理起来非常快,越来越多的研究者把重心放在了基于FPGA的处理视频图像的能力。
在国外,2003年Starik和Werman提出来基于中值滤波的去除雨滴的方法,但是这种方法局限于静态背景,2004到2007年,Garg和Nayar对视频去雨进行了研究,利用在拍摄时曝光时间不同,发现了雨线的亮度在曝光时间短的时候和背景无关在曝光时间长的时候和背景亮度呈线性关系的现象,建立了基于曝光时间的雨天模型,此模型适用于动态和静态场景。2007到2010年Baraum等人提出来基于频率域的视频去雨雪的方法,利用傅里叶变换把时域中的雨线转换到频域中,根据多帧图像在频域中雨线的分布,去除雨线,此方法适用于静态以及动态背景。2011年,Bossu等人对检测到的前景图像进行尺寸大小和亮度的约束,利用方向直方图分离出方向基本相同的雨线,从而达到视频去雨的目的。
在国内,2007年,徐亮在分析雪天视频的时候发现了雪花具有特殊的物理特性,由此提出基于动力学模型和光度测定模块相结合的方法。在2007年张颖翔等人在Garg等人研究的基础上进行了改进,将处理的视频图像帧数增加到五帧。2011年,孙毅刚在Garg等人研究的基础上采用改进的sanke模型,通过迭代方法去除视频中的雨雪。2012年,刘志坤根据多帧图像之间的像素点亮度不同,提出了改进的K均值聚类算法来去除视频中的雪花。{title}2. 研究的基本内容与方案
{title}基本内容:根据雪花的物理特性对视频图像去雪的相关算法进行分析和比较,选择可以用于FPGA实现的算法进行设计。再在硬件平台上,对硬件平台进行分析和搭建,熟悉芯片的工作要求。然后利用Verilog HDL(Hardware Description Language)语言对系统中所需要的模块进行设计,并利用Modelsim软件对所编写的模块进行仿真,仿真符合要求之后,对整个系统进行综合和布局布线,调试,得到结果。借助QuartusⅡ设计工具和Modelsim仿真工具进行设计的,使用Verilog HDL语言进行代码编写;FPGA的数字运算能力不强,不能进行复杂的运算。但其具有强大的流水线技术和并行计算能力,可以利用它们将一个复杂的运算分成几个步骤来实现。
目标:利用图像增强和中值滤波对视频图像进行预处理操作,对图像进行去噪和对比度拉伸。然后把帧间差分法和背景差分法运用到视频图像去雪中,分别对这两种方法进行设计、仿真和实现。
技术方案及措施:
1. 图像增强:采用对比拉伸的方法来增强图像,突出图像中景物的对比度,基于帧图像中像素点的灰度值的对比采用三段式方法进行变换。
2. 图像去噪:采用中值滤波的方法来进行图像去噪。中值滤波可以同时去掉噪声、保留细节以及防止边缘模糊,经过这样处理之后,图像可以很好地保留边缘,有利于后续检测运动目标。
3. 帧间差分法:通过对两帧相邻的帧图像进行作差,得到这两帧图像相应位置的差值,取绝对值,将这个值与之前设定的阈值比较,大于则该像素点有物体运动从而导致灰度值变化,若小于,则认为该像素点无物体运动。
4. 背景差分法:通过将当前帧与背景图像进行差分来得到运动目标区域,通过构建不含运动目标的背景图像,然后将输入图像与背景图像差分得到差分图像,依据某一判定原则对前景点进行判定,从而锁定运动目标。