随着社会的快速发展，人们对加强安全秩序、增强人机交互等人工智能技术的需求日益加大。传统的依靠人工进行视频分析的方法已经不能满足人们的需求，因此对目标行为实现自动地分析和识别的方法越来越受到人们的青睐。机器视觉技术就是这样一种方法，它使得计算机可以模拟人类的视觉感知系统，并且让计算机能够对环境中的目标物体及其活动信息进行自动地分析和识别。

人体行为识别是机器视觉领域重要研究的方向之一。它主要是利用机器视觉技术对视频图像序列进行分析，从而检测出人的行为动作，并且通过上下帧图像之间的联系对该行为进行表征，最后根据环境信息和领域知识来对行为进行深度分析。同时，随着机器视觉技术被应用到各个领域，人体行为识别技术也引起了越来越多的关注。目前行为识别技术已经应用于多个领域

最早的人体行为识别的研究可追溯至上世纪 70 年代心理学家Johansson的人体运动感知实验，该实验通过对行为人身上若干个点在运动时的轨迹追踪，实现了对走路、跑步等简单运动的识别。近年来，全世界越来越多的科机构及相关企业也都在人体行为识别领域开展了大量的相关研究，推动了人体行为识别技术的快速发展。人体行为识别技术主要应用于智能监控系统、运动分析、人机交互等方面，例如：美国国防高级研究项目属联合了美国众多高校，开发了视觉监控重大项目VSAM (Visual Surveillance And Monitoring),其主要研究的是监控系统中的自动理解技术，该项目的研究成果能够实现准确的定位运动主体并且可以进行多目标的同时跟踪，比如可以识别出两个人是否交换物品、是否携带了物品等简单的行为；英国爱丁堡大学负责的Behave项目、雷丁大学的 ISCAPS、REASON等项目，都对人体行为识别与分析进行了深入研究，并应用于智能安全监控系统；美国Ariel Dynamics公司开发的商用 APAS 录像解析系统，在医疗康复与体育竞技等领域的运动分析中用到了人体行为识别技术，该系统基于多相机同步拍摄，根据标记了红外标志点的人体进行三维运动建模，得以实现对病人的辅助医疗诊断和专业运动员的运动机理分析；微软开发的家庭游戏和视频娱乐系统Xbox360，推出 KINECT 配套设备将人体行为识别技术应用到了人机交互上，它使得人不需要再手持或踩踏控制器，而是使用手势或者语音指令来操作 Xbox360 的系统界面，甚至可以捕捉人体全身上下的动作，用身体来进行游戏，从而实现人机互动。与此同时，人体行为识别研究也被一些国际学术会议以及各种期刊列为重要研究内容之一，这为人体行为识别技术的研究打开了方便之门。

近年来，国内也一直紧密跟踪国际前沿发展步伐，加速推进人体行为识别领域的研究及其成果的产业化应用，取得了较大进展。据不完全统计，2012 年新立项的 973 项目“面向公共安全的社会感知数据处理”，将运动目标行为分析和群体行为分析列为待突破的关键技术之一；973 项目子课题“非结构化信息（图像）的内容理解与语义表征”，将基于计算机视觉的行为识别列为主要研究内容之一；863 计划重点项目“智能敏捷家庭助理机器人综合平台”，着重研究了智能空间下基于计算机视觉的人体行为识别和理解，为处于主动式智能服务工作模式下的服务机器人提供任务信息；863 计划重点项目“可穿戴型助残助老智能机器人示范平台”，则研究在肢体关节部位安装可穿戴传感器，用于感知老弱或残障人士的行为意图，进而遵循人体运动机制，通过辅助的动力装置协助其完成该行为，以改善老弱或残障人士的生活质量；科技部设立了中德合作重点项目“智能家庭服务监控机器人”，涉及到室内发生的人体跌倒等异常行为检测关键技术研究，交通部设立了“长途客车运输驾驶疲劳机理与检测方法研究”课题，用于驾驶员行为分析研究。此外，近年来国家每年还资助了多项与人体行为有关的 863 计划项目、国家自然科学基金面上项目、国家自然科学青年基金项目等。这些项目取得的研究成果已经被陆续投入到实际应用中，如：贝尔信科技有限公司与中国科学院自动化所建立了长期的技术合作关系，通过将各种行为模式数据及多种行为分析算法植入到嵌入式系统中，针对客户需求订制智能监控系统解决方案，能在监控视频中自动识别可疑人员的一些威胁行为，如非法入侵、偷盗、打架斗殴等，并以IP 方式联网实时地自动报警；清华大学开发了跳板运动辅助训练系统，根据检测得到的跳板振动加速度和速度信息，对跳水运动员的起跳动作进行剖析，以改进其技术细节；浙江大学人工智能研究所主要对人体动画进行了大量的研究,其利用人体行为识别技术在视频流中捕捉动画信息, 替代了传统的运动捕捉设备，减少了成本；中国科学院自动化所模式识别国家重点实验室重点研究了国家跳水队训练的人体行为识别,实现了人体建模和跟踪。

2. 研究的基本内容与方案

本次毕设需要学习和研究数字图像处理、数字视频处理原理和方法。重点研究基于基于深度学习的视频行为识别算法，在Visual Studio 2010或Matlab或Python环境下实现，并对结果进行比较分析。目标是能够在VisualStudio 2010或Matlab或Python环境下实现对视频行为的识别。

首先通过阅读教材和论文，对深度学习的原理，即深度神经网络的知识，进行初步的认识，以利于对实际应用中使用深度神经网络的原因和方法形成更好的理解。

基于深度学习的视频行为识别步骤基本如下：

1)基于 Harris 角点检测的三维时空兴趣点检测方法，从视频序列中提取大量的时空兴趣点。然后，对提取到的时空兴趣点采用 HOG/HOF 描述子进行描述。

2)采用 K-means 聚类的方法对时空兴趣点进行聚类，得到聚类中心（即视觉词汇，所有的视觉词汇就构成了词典）。然后，以时空兴趣点与视觉词汇间的欧式距离最短为标准，将每个时空兴趣点映射到词典中的某个视觉词汇上。最后，通过统计出每段视频序列中的每个视觉词汇被映射的频次，得到的直方图向量作为每段视频序列中人体行为的特征表征。

3)通过深度信念网络对这些特征进行学习和分类。