1.1研究工作的背景及意义

人体行为分析技术是计算机视觉领域的一个热门研究方向，该技术是利用摄像机、计算机等现代设备对空间中人体的行为动作进行捕获，接着对其进行信息化处理，完成对人体行为动作客观分析的研究技术。人体行为分析技术发展了近40年，但其仍然是一门年轻的学科，还有待科学家对其进行深入发掘与探讨，该技术在智能监控、人机交互、运动分析、虚拟现实等领域有巨大的应用前景。例如，在人类社会中的许多场所都需要视频监控，但传统的设备只能进行普通的拍摄并存储视频画面，当有突发事件时，只能由工作人员查看并调取所需视频画面，其效率低下，不能及时解决问题。而理想的视频监控形式是监控设备能够实时发现画面中的突发事件，并将信息及时反馈给工作人员，第一时间采取有力措施来避免损失。人体行为分析技术在此过程中发挥的作用就得到了体现。

随着人类社会的高速发展，科技也在不断进步，人类越来越向往智能化、现代化的生活，对此有着巨大作用的人体行为分析技术的位置随之改变。人体行为分析技术在经济发展和科学研究中都有着巨大的潜在价值，因此，研究人体行为分析技术是一项很有意义的工作。

1.2国内外研究现状

国外的人体行为分析技术的研究始于1973年，Johansson进行了人体运动感知实验，开启了对人体行为分析的最早研究，从此开始了科学家对人体行为分析技术的探讨。在研究早期由于采集设备功能的限制，采集到的数据精度不足，很难提取到精细的局部信息，因此早期的人体行为分析主要是基于全局特征进行的。1992年，Yamato等对人体行为识别进行了研究，其使用自底向上的方法，采用网格特征作为底层描述符，结合HMMs模型表示行为序列中的时间信息。在Bobick等的工作中，他们提取了全局的运动能量图和运动历史图用于识别行为。进入21世纪，随着采集设备的更新迭代，设备获取的图像数据更加精细，科学家更倾向于研究基于局部特征点的行为分析技术。Sclaroff等使用基于前景流法和光流法来提取人体、物体和场景等的运动特征。2011年，Shotton等利用人体深度图计算出人体骨架连接点的三维位置信息，有效地捕捉到了人体运动的特征，基于这项技术，使用人体骨架序列的行为分析研究相继出现。Ellis等提出了时空帧特征，提取特征序列中的一帧作为序列的判定帧。Zou等将特征序列分块，分别计算每块序列的判定力，选择判定力最强的特征序列块来表示行为。现如今，国外许多研究机构密切关注并研究这一领域，诸如普林斯顿大学视觉实验室、德州大学奥斯丁分校计算机视觉研究中心等，都在这一领域内投入了大量的研究工作。

国内对于人体行为分析的研究起步较晚，相关技术研究与国际上先进水平仍有一定差距，但仍然涌现了许多研究成果。国内众多高校和研究机构纷纷建立了研究所和工作室，并在人体行为识别领域中进行了大量的研究工作，北京大学视听觉信息处理实验室、中科院自动化所和计算机研究所等都在这一领域中取得了一定的研究成果，武汉大学、南京大学等在定位和跟踪目标三维行为的研究中取的了不错的成果。

2. 研究的基本内容与方案

研究内容、目标和研究方法

结合国内外的研究现状，本文基于双目视觉系统的特点进行人体行为分析研究，主要目标是利用双目视觉系统，实现对运动人体的检测，并实现简单的人体行为识别，例如人员倒地、区域徘徊与滞留等。本文研究的主要内容和方法如下：

首先利用双目视觉系统来实现三维深度信息的获取，需要对双目摄像机进行标定，研究中采用的标定方法是Tsai两步法。在检测运动目标的部分，先是比较现有的几种检测方法的优劣性，并选取背景差分法来实现对运动人体的检测与跟踪，利用Sobel算子提取人体的边缘信息，并运用尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法提取双目摄像机左右图像的特征匹配点，最后结合摄像机的性能参数获取三维深度信息。在进行人体行为的分析过程中采用卷积神经网络（Convolutional Neural Networks-简称CNN）进行研究，将双目摄像机的采集的左右图像采用CNN方法进行行为识别，并将之与库中的样本进行对比计算，最终得到匹配的人体行为识别结果，然后对左右图像的识别结果进行加权融合计算，在实验中调节相关系统参数，以获取更高的行为匹配度，以获得更高精度的人体行为识别结果。

[1] 祝琨，杨唐文，阮秋琦，et al. 基于双目视觉的运动物体实时跟踪与测距[J]. 机器人，2009, 31(4):327-334.