1.1 本设计的标题为《基于人脸识别与姿态识别技术的宿舍监管防盗系统》。众所周知宿舍安全是高校学生管理工作的重中之重，由于学生宿舍的人流量较大，偷盗、失窃问题频发并且难以得到有效解决。本设计的目的是为了通过人脸识别将监控摄像头记录下来的来往人员与已登记人员的信息进行对比筛选，将不明人士进行登记以防止出现盗窃或意外事故。此外还附加了姿态识别技术用于监控例如学生昏迷倒地、危险人员携带大体积物品等情况，能及时进行报警或记录。

1.2 人脸识别发源于20世纪60年代，在我国还未正式开始接触这项技术的时候美国和英国等西方国家已经开始了人脸识别的技术研究^[1]。早在1993年美国的国防部和陆军实验室便已经建立了FERET项目组用于研究人脸识别算法的性能。国内对于人脸识别的研究则相对来说要滞后许多，国内期刊最早出现“人脸识别”一概念是在1979年的《自动化学报》上，而正式的学术论文则是1992年洪子泉等发表的“用于图像识别的图像代数特征抽取”和郑坚平等发表的“标准正面人脸图像识别”。当下美国、德国、日本等一系列发达国家以及一些发展中国家（包括中国）都有专门研究人脸识别的机构存在，例如美国的MIT和CMU，德国的Cognitec公司；国内较为出名的有早些年中科院计算所跟哈工大联合创办的一个面像实验室、中科院研究所及其下属的中科奥森公司等。现如今美国FBI通过人脸识别提高了刑侦案件的侦破率，澳大利亚通过“刷脸”入境，芬兰的脸部识别支付平台等早已不是什么新奇的事物，国内的机关单位人员审查，汽车驾照考察也纷纷用上了人脸识别来确认身份。

目前而言人脸检测方法较为成熟的有特征点法、神经网络法、模型分类等，属于争议较少也是比较成熟的模块。而对于人脸识别，国际上主流的研究方向有三个，一是基于几何特征提取的方法，即提取人类脸部具有突出特征的部位的轮廓、相对大小、相对距离等几何特征形成一个描述该人脸的特征向量集，与预先存储的参考数据进行对比即可确认是否为同一人脸。这种方法简单并且实时性极强，但是相应的缺点是容易受到外界例如光照、遮挡物的影响，鲁棒性不强。后面两种方法严格来说都属于基于代数特征的人脸识别算法。第二种方法则是基于模板的匹配方法^[2-6]，即将待识别图像与数据库中的人脸图像的模板进行相关性对比。这种方法的缺点在于需要大量的算法数据计算和样本训练，才能最终整合出一个合适的模板形式进行匹配。其中较为出名的也是现在应用性较强的神经卷积法^[7-10]。第三种方法则是模型学习法^[11,12]，例如隐马尔可夫模型，这类算法的特点是利用已知的样本训练集对隐马尔科夫模型进行大量训练从而得到一个可靠的模型参数估计值，再利用这个估计值所建立的对待识别人脸进行运算从而与数据库中的人脸进行相似度匹配。这种方法的优点是鲁棒性强，但是相应的缺点是需要大量的样本训练才能得到一个准确的分类器用于判别人脸相似与否，即无法保证预测的状态序列是最优的可能。

表1 人脸识别方法优缺点

因此除了这三种主流的研究方法之外，有许多相较优点更为突出的切入方向或改进的算法也在逐渐的产生。国内例如朱冰莲教授等人在14年提出的针对表情变化的三维人脸识别系统^[13]，就是通过三维视图和人脸特征数据相结合，进行深度特征匹配进行的人脸识别，从而增强了系统对人脸表情变化的鲁棒性。但是这种方法的缺点也十分明显：采集设备成本高，人脸重建算法复杂，识别速度缓慢，因此这项技术并不是十分成熟。此外邵冬华教授等人在2017年提出的二次近邻稀疏重构法^[2]，在相同识别率的情况下运算时间要比其它算法少接近一半，但是同时对于待测体和样本的要求也更加的严格否则会导致性能的下降。国外方面比较经典的LDA和PCA算法^[14]即通过降维将系统采集到的二维信息通过向量投影到一维上，从而实现降维再进行特征向量的匹配，降维过后系统的运算量小，识别时间短但相应的识别率也会下降。此外就在18年初，Gabriel Hermosilla等人提出了通过红外热成像进行醉酒人脸识别的方法^[15]，利用热度特征点结合混合高斯模型对醉酒人士进行分类划级，这种方法的缺点也十分明显，即不同身体机能的人脸部对于酒精的热度反应是相差较大的，如果要真正将这个系统推广开来那么势必会在许多地方出现误分的情况。

总的来说，人脸识别技术目前处于高速发展的阶段中，各种针对不同情况和样本的识别系统都有它突出的优点但难免也存在着局限性，即很少有能对于各种不同条件下都能准确进行识别的分类系统。例如一些安全部门的检测，管理人员大可要求每个进出人员脱下帽子、眼镜等物品进行检测识别，那么该系统只需对于一般人脸进行精度高的识别算法设计即可。但是对于其他场合下例如舞会进出人员的检测，为了达到比较特殊条件下的人脸识别（例如化妆、脸上的装饰等），算法就要做出一定程度的改变使得适应性更强，但是同时也会使得识别的精度下降。因此如何让机器真正地做到如同人脑一般的进行识别成为当下研究的重心所在。

而姿态识别技术相对于人脸识别技术来说更像是一种辅助手段。它的局限性在于无法对监控对象的具体信息，比如“他是谁”这种问题进行分辨。他只能通过一定范围内的图像数据分析来对目标进行一个大概的归类，用于判断出“他是个怎样的人”。现有的人体姿态识别方法通常有两种：模板匹配法和状态空间法^[16]。前者与人脸识别中的模板匹配法类似，通过预先存储在数据库中的行为数据集来解释目标当前的运动，算法简单并且运行速度快，相应的鲁棒性会更差点；后者则是将各个静态姿势通过状态空间模型进行定义联系，而目标的每个动作都会与模型进行遍历匹配最终来判断其行为。这种方法与人脸识别中的模型学习法有类似的地方，缺点也在于需要的训练样本多、计算复杂度高。

1.3 目前而言，人脸识别技术发展的趋势之所以不可阻挡，一是因为人脸识别技术相对于其他例如身份证件查询、指纹验证、DNA验证等来说，隐蔽性更强且省时省力，可以节约大量人工成本。二是现如今整个社会都在向着智能化方向发展，识别技术则是首当其冲的一环，没有识别技术的发展，智能系统便无法通过外部采集的数据信息进行分析从而自动完成后续工作，识别技术实际上是人工智能向人脑靠齐的关键技术，当智能系统对于外部接收的信息有了一定的判断能力之后，将这种判断信号传输到具体的操作系统就是十分简单的工作了。

2.1 本毕业设计的研究任务是围绕人脸识别和姿态识别设计出一套宿舍防盗监管系统，该系统的基本功能包括：通过人脸识别来识别出来往的身份，并将可疑人员进行标记；通过姿态识别系统将例如学生倒地、不明人士携带大体积器具等情况记录并报警。其中较为关键的待解决问题有两个，一是如何在视频信息中准确提取出关键人脸帧从而进行人脸识别；二是在现有条件下如何进行识别率较高的算法和整体软件系统的设计。

2. 研究的基本内容与方案

2.1 本毕业设计的研究任务是围绕人脸识别和姿态识别设计出一套宿舍防盗监管系统，该系统的基本功能包括：通过人脸识别来识别出来往的身份，并将可疑人员进行标记；通过姿态识别系统将例如学生倒地、不明人士携带大体积器具等情况记录并报警。其中较为关键的待解决问题有两个，一是如何在视频信息中准确提取出关键人脸帧从而进行人脸识别；二是在现有条件下如何进行识别率较高的算法和整体软件系统的设计。

2.2 根据任务书中给出的要求，系统设计过程中我将提前拍摄好视频信息用于替代摄像机实时监控视频来进行人脸检测识别和姿态识别工作。对于人脸检测环节，采用样本训练分类器是抗干扰性最强同时也是检测率最高的方法，但是这种方法前期的训练数据要求量大，且就实用性而言，特征点法就已足够甄别出一般条件下的人脸区域。在前面提到了“如何在连续的视频信息找种提取关键人脸帧用于人脸识别”，我的解决办法是：对每一帧图像进行人脸定位并框选出来，在识别出人脸到人脸消失在视频这个过程中，框选面积达到最大值时自动记录用于后续识别。拟采用“眼定位，肤色定区”的方法进行人脸区域的检测，这个过程使用Matlab可以很容易地完成。对于人脸识别这一关键步骤，主要的问题在之前也提到了，如何在宿舍出入口这个环境中，通过可行的方法来实现识别率较高的系统设计。由于计划使用单摄像头以及Matlab进行主要算法的设计，主要可行的方法一共有两个。一个方法是主成分分析法（PCA），即通过降维的方法将人脸像素信息转化为低维的特征量，按大小顺序在子空间投射成特征向量，通过对比特征向量和数据库中的人脸距离，设置一定的阈值即可确认是否为已知人脸。这种方法前期的工作重心在于通过一定量的样本训练出平均脸、特征脸、投影矩阵等来用于后续测试，训练的样本也是越多效果越好，这种方法相比于一般的特征脸法的优点除了识别运行速度更快之外，还有一个优点是能将微小的次要特征信息过滤，对于人脸部因为光线产生的些微变化导致的识别障碍可以有效地解决，无疑是十分适合宿舍监控识别的。而与之类似的直方图方法却可能因为对一些次要信息的干扰导致识别率下降，因此不考虑使用直方图法。第二个方法是深度学习法，也是设计现代智能安防监控系统的主要方法，即通过例如隐马尔可夫模型，使用大量人脸数据进行训练从而让参数稳定下来，最终用于人脸识别。这种方法同样也能实现识别率较高的系统设计，原因在于无论是干扰还是遮挡，只需将“是”或“否”导入模型判断中，那么它就会给出一个大致的分类范围，只要经过大量的训练那么它对于有干扰的人脸同样会具有较高识别率。但是由于能进行训练的宿舍人员样本数较少，最后的模型测试不一定尽如人意，因此作为备选方案存在。值得一提的是倘若摄像头捕获到的图片帧与背景帧出现差值（即有异物闯入）却没有检测出人脸的话，系统将会自动记录。

对于姿态识别环节，初步的构想是通过当前帧与背景帧做差然后二值化来提取有用信息（比如一个走路的人），通过有用信息（即做差之后得到的图像小白块），进行长宽比例的对比就可以大致确定一个人所处的状态。比如正常的站立人形大致为竖立着的矩形，而昏倒或摔跤的人形大致为横立的矩形或者倦曲的球型，而一个站立着走路并且手上提着失窃物品的小偷的形状则可能为一个矩形且在矩形腰部的信息比例会突然增加，依此就可以大概识别出正常人群或者危急人群和小偷并进行记录和报警。此外，通过帧与帧之间有用信息的中心点的距离可以估计一个人的步伐速度，假设一个人的速度特别快的话帧与帧之间的“白块”距离也会拉的非常开，以此可以确定一些“嫌疑犯”。

图1 宿舍监控系统流程图

整个系统完成之后预期的结果是这样的:两个摄像头分别进行人脸识别和姿态识别，当一个学生从目标区域经过时他会经过人脸识别摄像头面前进行正常的识别，人脸摄像头将拍到的正脸与数据库中的人脸进行对比得出“他是学生”的结论，姿态摄像头则是判断出“站立-正常”的结论，系统不会进行记录或者报警。而当一个非宿舍人员携带工具箱跑入宿舍时，首先姿态识别摄像头会根据比例模型和步伐速度判断其为“危险人士”进行记录并鸣铃报警；另外一边假设该人员经过人脸识别摄像头时没有刻意避开，那么系统对比过数据库图片会得出“陌生人员”的结论并进行记录。如果该人员特意避开摄像头（例如捂住脸部）则该摄像机捕获到当前帧与背景帧有差别，出现了“异物”则同样会进行记录方便后续工作。

[1] 邹国锋,傅桂霞,李海涛等.多姿态人脸识别综述[J].模式识别与人工智能,2015(07): 第613-625页.

[2] 邵冬华, 施志刚,史军杰.二次近邻稀疏重构法及人脸识别[J].重庆邮电大学学报(自然科学版),2017(06): 第844-850页.

[3] 袁姮,王志宏,姜文涛.基于频率簇模型的人脸识别[J].中国图象图形学报,2016(09): 第1166-1177页.

[4] 毋立芳,侯亚希,许晓等.基于紧致全姿态二值SIFT的人脸识别[J].仪器仪表学报,2015(04): 第736-742页.

[5] 嵇介曲.基于LBP算法的人脸识别研究[D].安徽理工大学,2017.

[6] 王绎博.基于改进LDP特征的人脸识别方法[D].南京理工大学,2017.

[7] 杨子文.基于深度卷积神经网络的人脸识别研究[D].广西师范大学,2017.

[8] 毛艺.基于深度神经网络的人脸识别算法研究[D].浙江大学,2017.

[9] Seyed Ali Rokni，Marjan Nourollahi，Hassan Ghasemzadeh.Personalized Human Activity Recognition Using Convolutional Neural Networks[J].Washington State Unibersity School of Electrical Engineering and Computer Science,2018.

[10] YangWang,Zheng Jiachun.Face Recognition Research Based on Fully Convolution Neural Network[J].Mechatronics and Information Technology(ICMIT 2017),2017.

[11] 钱程.基于深度学习的人脸识别技术研究[D].西南交通大学,2017.

[12] 洪新海.人脸识别中的深度特征学习方法研究[D].中国科学技术大学,2017.

[13] 朱冰莲,王大为,李明均等,针对表情变化的三维人脸识别系统研究[J].仪器仪表学报, 2014(02): 第299-304页.

[14] Wu Yulin,Jiang Mingyan.Face recognition system based on CNN and LBP features for classifier optimization and fusion.The Journal of China Universities of Posts and Telecommunications[J],2018.

[15] Gabriel Hermosilla,José Luis Verdugo,Gonzalo Farias,et al.Face Recognition and Drunk Classification Using Infrared Face Images[J].Journal of Sensors,2018.

[16] 黄鲜萍,王万良，占怡莹等.视频中关键人体姿态的识别[J].小型微型计算机系统,2014(01):第167-171页.

[17] Xiao Ma,Fandong Zhang,Yuelong Li,et al.Robust sparse representation based face recognition in an adaptive weighted spatial pyramid structure[J].Science China Information Sciences,2018.

[18] Min Huang,Guo-Rong Cai,Hong-Bo Zhang,et al.Discriminative Parts Learning for 3D Human Action Recognition[J].Cognitive Science Department,Xiamen University,2018.

[19] Adam Kortylewski,Andreas Schneider,Gerig Thomaset,et al.Training Deep Face Recognition Systems with Synthetic Data[J].Department of Mathematics and Computer Science University of Basel,2018.

[20] Yue Ting,Wang Hongbo,Cheng Shiduan.Learning an identity distinguishable space for large scale face recognition[J].The Journal of China Universities of Posts and Telecommunications,2018.

[21] Yang Yu-ping.Algorithm of Face Recognition Based on Chaotic theory[J].Advances in Engineering Research,volume 141 5th International Conference on Mechatronics,Materials，Chemistry and Computer Engineering(ICMMCCE 2017),2017.

[22] 崔广才,窦凤平,王春才等.基于傅里叶与局部特征结合的人体姿态识别方法研究[J].长春理工大学学报(自然科学版),2016(01):第82-87页.

[23] Dongxue Li,Lejun Yu,Jun He,et al.Action Recognition based on Multiple Key Motion History Images[J].College of Information Science and Technology，Beijing Normal University，Beijing 100875,China,2016.

[24] ChengBin Jin,Shengzhe Li,Trung Dung Do,et al.Real-Time Human Action Recognition Using CNN Over Temporal Images for Static Video Surveillance Cameras[J].Advances in Multimedia Information,2015.

[25] Frank Y Shih.Processing and Pattern Recognition: Fundamentals and Techniques[M].Wiley Inc.amp;IEEE Press,2010.

[26] 殷海艳,刘波.基于部位检测的人体姿态识别[J].计算机工程与设计,2013(10):第3540-3544页.

[27] 黄国范与李亚.人体动作姿态识别综述[J].电脑知识与技术,2013.

[28] 刘凯伦.视频监控中实时人脸识别系统的研究与实现[D].郑州大学,2017.

[29] 洪新海.人脸识别中的深度特征学习方法研究[D].中国科学技术大学,2017.

[30] 马宁.基于图像的人脸识别中关键技术研究[D].吉林大学,2016.

[31] 王雪峤.表情不敏感的三维人脸识别研究[D].北京交通大学,2016.

1.1 本设计的标题为《基于人脸识别与姿态识别技术的宿舍监管防盗系统》。众所周知宿舍安全是高校学生管理工作的重中之重，由于学生宿舍的人流量较大，偷盗、失窃问题频发并且难以得到有效解决。本设计的目的是为了通过人脸识别将监控摄像头记录下来的来往人员与已登记人员的信息进行对比筛选，将不明人士进行登记以防止出现盗窃或意外事故。此外还附加了姿态识别技术用于监控例如学生昏迷倒地、危险人员携带大体积物品等情况，能及时进行报警或记录。

1.2 人脸识别发源于20世纪60年代，在我国还未正式开始接触这项技术的时候美国和英国等西方国家已经开始了人脸识别的技术研究^[1]。早在1993年美国的国防部和陆军实验室便已经建立了FERET项目组用于研究人脸识别算法的性能。国内对于人脸识别的研究则相对来说要滞后许多，国内期刊最早出现“人脸识别”一概念是在1979年的《自动化学报》上，而正式的学术论文则是1992年洪子泉等发表的“用于图像识别的图像代数特征抽取”和郑坚平等发表的“标准正面人脸图像识别”。当下美国、德国、日本等一系列发达国家以及一些发展中国家（包括中国）都有专门研究人脸识别的机构存在，例如美国的MIT和CMU，德国的Cognitec公司；国内较为出名的有早些年中科院计算所跟哈工大联合创办的一个面像实验室、中科院研究所及其下属的中科奥森公司等。现如今美国FBI通过人脸识别提高了刑侦案件的侦破率，澳大利亚通过“刷脸”入境，芬兰的脸部识别支付平台等早已不是什么新奇的事物，国内的机关单位人员审查，汽车驾照考察也纷纷用上了人脸识别来确认身份。

目前而言人脸检测方法较为成熟的有特征点法、神经网络法、模型分类等，属于争议较少也是比较成熟的模块。而对于人脸识别，国际上主流的研究方向有三个，一是基于几何特征提取的方法，即提取人类脸部具有突出特征的部位的轮廓、相对大小、相对距离等几何特征形成一个描述该人脸的特征向量集，与预先存储的参考数据进行对比即可确认是否为同一人脸。这种方法简单并且实时性极强，但是相应的缺点是容易受到外界例如光照、遮挡物的影响，鲁棒性不强。后面两种方法严格来说都属于基于代数特征的人脸识别算法。第二种方法则是基于模板的匹配方法^[2-6]，即将待识别图像与数据库中的人脸图像的模板进行相关性对比。这种方法的缺点在于需要大量的算法数据计算和样本训练，才能最终整合出一个合适的模板形式进行匹配。其中较为出名的也是现在应用性较强的神经卷积法^[7-10]。第三种方法则是模型学习法^[11,12]，例如隐马尔可夫模型，这类算法的特点是利用已知的样本训练集对隐马尔科夫模型进行大量训练从而得到一个可靠的模型参数估计值，再利用这个估计值所建立的对待识别人脸进行运算从而与数据库中的人脸进行相似度匹配。这种方法的优点是鲁棒性强，但是相应的缺点是需要大量的样本训练才能得到一个准确的分类器用于判别人脸相似与否，即无法保证预测的状态序列是最优的可能。

表1 人脸识别方法优缺点