基于深度学习的行人重识别研究开题报告
2022-01-06 21:02:13
全文总字数:3365字
1. 研究目的与意义及国内外研究现状
随着视频图像采集和数据存储技术的提升、摄像机成本的下降以及社会公共安全的需要,越来越多的监控摄像头被安装在学校、医院、车站、机场、道路等行人密集的公共场所,形成了大型的分布式摄像网络,提供了大量的视频数据。这些视频数据极为重要,可用于刑侦工作、提供路况信息、监控盗窃事件及寻找丢失人员等,但目前人们对视频数据的应用仍处于初级阶段,主要通过人工对几个特定摄像头进行检索。摄像网络提供的海量视频数据给人工监控带来了极大的挑战,往往需要大量人力花费大量时间进行检索,费时费力。如何智能地从大量视频中寻找出有效信息成为了一个重要问题,这在计算机视觉领域中越来越受到关注,行人重识别的研究就此展开。行人重识别(person re-identification)指在非重叠视角域多摄像头网络下对特定行人目标进行行人匹配的过程,即给定一个行人目标,在摄像网络中不同位置的摄像机不同时刻拍摄的视频序列中找到该目标。行人重识别的目的主要是判断某个摄像头中的某个行人是否曾经出现在其他的摄像头中,即需要将某个行人特征与其他行人特征进行对比,判断是否属于同一个行人。行人重识别技术用以弥补目前固定摄像头的视觉局限,可与行人检测及行人跟踪技术相结合,用于智能视频监控等领域。因此研究该问题对刑侦工作及公共安全有非常重要的意义。摄像机拍摄的图像是从不同的视角,在不同的光照条件、分辨率、人体姿态和背景环境中捕捉,这些人物图像中巨大的类内差异为行人重识别带来了很大的困难,另外,穿着相似衣服的不同人间的识别又增加了挑战。本文基于深度学习中的cnn卷积神经网络进行行人重识别的研究。
国内外研究现状
2006年,cheissari等人在cvpr上第一次正式提出行人重识别这一概念,随后相关的研究不断涌现;2007年,gray等人提出第一个用于行人重识别研究的数据库viper;2014年后,深度学习被应用于行人重识别领域;2016年行人重识别迎来井喷式的增长,深度神经网络引起广泛关注,相关数据集不断扩充,在各数据集上的结果也获得很大提升。传统的行人重识别从特征提取和度量学习两个方面进行研究。特征提取研究行人对象的特征表示方法,提取更具有鲁棒性的鉴别特征对行人进行表示。人工设计的特征主要有颜色特征(rgb,hsv,lab等颜色直方图)、纹理特征(lbp,gabor)、形状特征(hog)等。早期常采用欧式距离来衡量行人表观特征的相似度,但欧式距离往往忽略图像的本质信息,使得匹配效果较差,因此研究者们提出度量学习的方法,度量学习通过学习一个有判别力的距离度量函数,使得同一个人的图像间距离小于不同行人图像间的距离,距离度量学习一般基于马氏距离。2012年koestinger m等提出kissme算法,liao等在此基础上提出xqda方法;weinberger等提出lmnn算法,davis等在此基础上提出itml算法;pedagadi等提出lfda算法。2014年后,深度学习被广泛应用,基于深度学习的行人重识别主要分为两类,一类是利用卷积神经网络进行特征提取,然后用度量学习算法进行识别,即分类模型。另一类是将特征提取和度量学习联合在一起进行训练,从而提取出有利于相似度度量的特征,即匹配模型。yi等基于孪生卷积神经网络(siamese)提出了一种深度度量学习方法,当前大多数基于cnn模型的行人重识别方法使用siamese模型。深度学习中常用的损失方法有对比损失(contrastive loss)、三元组损失(triplet loss)、四元组损失(quadruplet loss)、难样本采样三元组损失(triplet hard loss with batch hard mining, trihard loss)、边界挖掘损失(margin sample mining loss, msml)。2017年zheng z等提出用gan做行人重识别,用于数据增强。
2. 研究的基本内容
行人重识别所要做的就是先对图像进行特征提取,然后判断某个测试图片的特征与训练集中的哪个图片最接近。
本论文主要研究基于深度学习的行人重识别方法,最后能实现的效果是:给定一张目标图像,能从图像库中找到和目标图像匹配的图像,并能用评估方案进行算法的评估。
主要研究内容有:1)学习相关研究工作,包括手工提取特征的特征描述、度量学习、深度学习方法,数据集及评估方案;2)学习残差网络resnet-50,并用resnet-50进行finetune实验;3)学习深度学习中的损失函数,并选取合适的损失函数用卷积神经网络中的siamese模型进行研究设计;4)了解当前比较新的方法,如gan做数据增强、行人检测和行人重识别统一进行end-to-end的学习、和自然语言结合、re-ranking等。
3. 实施方案、进度安排及预期效果
实施方案:1)查阅相关文献,了解行人重识别的基础理论、实现过程及研究现状;2)学习相关公共数据集的使用和主要的评估方案3)了解典型的手工提取特征及度量学习的方法;4)用残差网络进行微调实验观察效果;5)基于siamese模型进行研究设计。
进度安排:2017.12月1日—2018.1月10日完成开题报告、任务书及外文翻译2018.1月11日—2018.2月28日学习相关文献,了解主要实现过程2018.3月1日—2018.3月31日 进行微调实验2018.4月1日—2018.4月30日 基于siamese模型进行设计2018.5月1日—6月初 完成毕业论文,参加答辩预期效果:1)能用累计匹配曲线(cmc)或平均准确率(map)进行评估;2)给定一张目标图像,能从图像库中找到和目标图像匹配的图像;3)总结实验结果,提出建议。
4. 参考文献
[1]宋婉茹,赵晴晴,陈昌红,等.行人重识别研究综述[j].智能系统学报,2017,(06):770-780.
[2] gong s, cristani m, yans, etal. person re-identification[m]. london: springer, 2014.
[3] karanam s, gou m, wu z, et al. a systematic evaluation and benchmark for person re-identification: features, metrics, and datasets[c]. computer vision and pattern recognition (cvpr), 2016 ieee conference on. ieee, 2016.