1. 研究目的与意义（文献综述）

近些年来计算机科技在飞速的发展，其中手势识别是通过数学算法来识别人类手势的一门热门的研究技术，最初的手势识别主要是利用机器设备，直接去检测手和胳膊的关节的角度和空间位置。当时主要是通过有线技术将计算机与用户相互连接，以此让用户的手势信息能够完整地传送至识别系统里，当时使用的典型设备就是数据手套。随后随着技术的发展，光学标记方法取代了数据手套将光学标记戴在人手上，通过红外线能将人手位置和手指的变化传送到系统的屏幕上，而现在则是通过rgb摄像头基于机器视觉的手势识别。该技术在人机交互的领域应用十分广泛，是当今人机交互领域的重点研究方向。

手势识别让用户能够使用简单的手势来控制或与设备交互，让计算机理解人类的行为。手势取代传统的敲击键盘或点击鼠标作为输入来控制自己的计算机，能够使人与机器之间的交互变得更加智能化、自然化，而且可将人们在日常生活中所获得的经验，直接运用到交互活动中，能够充分提高虚拟世界中的可操作性，并且可在虚拟世界中完成更加复杂的任务。因此，基于机器视觉的手势识别的研究引起了国内外学者的广泛关注。

目前，手势识别已被广泛研究，尤其是基于机器视觉的手势识别。韩国inda大学和korea polytecnic大学的jongshill lee、youngjoo lee等人用熵分析法从背景复杂的视频流中分割出手势区域并进行手势识别。使用链码的方法检测手势区域的轮廓，最后计算出从手势区域的质心到轮廓边界的距离。该系统可识别6种手势，平均识别率超过95%；6个人分别做每个手势的识别率平均达到90%-100%。印度研究者meenakshi panwar在视觉手势识别的基础上提出了一种基础结构特征的手势识别算法，通过北京去除、方向检测、拇指检测和手指数量检测，来最终识别手势。chenglong yu等人采用基于视觉的组合特征进行手势识别，将手的面积、周长、重心、面积比和长宽比等特征结合，使得识别率得以提高。上海大学ding youdong、pang haibo等人运用改进的lbp算法，利用adaboost分类器进行手势识别，建立了多种手势数据集，其中包括一些大角度变化的收拾图像。实验表明该方法可较好地对手势特征进行分割和分类。

2. 研究的基本内容与方案

本实验运用opencv中比较成熟的机器视觉算法，来使用摄像头捕获视频并显示，接着对获取的手势图像文件进行预处理及处理，如图像分割、形态学处理、平滑处理等，再对其进行特征提取，通过手势识别的相关算法来完成人机交互的系统的实现。围绕以上方面，本文的具体研究内容如下：

1）在eclipse里配置好opencv的jar包，用opencv相关api读取视频流或者视频文件的每一帧，然后通过swing jcomponent组件实现视频每一帧的更新显示。

2）pc机读取图像后首先进行图像预处理及处理，使用opencv中的使相关函数进行图像的色彩处理、图像分割、形态学处理、灰度化处理等操作，经过基于hausdorff距离的方法匹配手势。

3）手势进行特征提取时，要进行目标区域的检测，来确定所需目标所在图像中的区域；还要做手指指尖位置的检测和手指数量的检测，使用模板匹配法和穿透法来完成相关操作。

3. 研究计划与安排

第1-4周：查阅相关中、英文文献资料，明确研究内容。确定设计方案，完成开题报告，完成不少于2万字符的英文翻译任务；
第5-6周：完成论文开题工作。
第7-10周：完成双手势多点动作控制系统的设计与调试，并撰写部分论文初稿；
第11-12周：完成论文初稿；
第13-16周：修改完善毕业论文；
第17周：完成论文答辩工作。

4. 参考文献（12篇以上）

[1] 谢俊, 吴洋. 基于机器视觉的多特征手势提取方法[j]. 电子技术（上海）, 2018(1):61-64.

[2] baranwal, n.,nandi, g. c., and singh, a. k. (2017) real‐time gesture–based communication using possibility theory–based hidden markov model. computationalintelligence, 33: 843–862.

[3] elmezain m.invariant color features–based foregroundsegmentation for human‐computer interaction.math meth appl sci. 2018;41:5770–5779.