1. 研究目的与意义（文献综述）

随着手势识别技术的提升，其理论已从起初的探索阶段渐渐发展，到如今已发展至产品应用落地阶段；以前大多数研宄虽然可以利用普通摄像头来采集图像进而能获取手势的运动形态以及像素信息，却无法直接获得更加深度的手势三维特征，而随着具有新功能的如leapmotion深度传感器的出现更多的深度信息可以被获取。近年来更为成熟的视觉识别技术以其高效率的深度特征提取技术在世界范围内被广泛运用，而由此诞生出一批面向市场的深度视觉传感器使用了更符合市场需求的专业传感装置并结合图像分割和特征模型构建模块的嵌入，使得其性能得到了大幅度提升。面对当今制造业面对着劳动力短缺，效率低等诸多挑战，为了应对这些挑战，工业机器人由于其高效率、高精度等优势被广泛应用于制造业。但是在许多制造任务中机器人不能完全替代人来完成，因此，工业机器人人机协作制造越来越重要。人机协作（human-robot collaboration，hrc）中的空间协作指机器人与人在同一空间内合作完成一项任务，如拆卸等。另外人机交互(human-computer interaction, hci)是研究人与系统及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人-机交流，提高交互的自然性和高效性。当今机器人已经融入到我们生活中，在机器人人机交互中信息的交互量非常大，所以对机器人人机交互的研究意义重大。要求机器人能够通过感知人手势与人进行交流，手势交互作为自然体感交互的一种重要方式，交互人可以通过自己的手势动作去控制系统设备与机器，具有直接、高效且能表达出丰富信息的特点。手势是人们日常生活中使用最广泛的一种辅助的交流方式，能够表达多个维度的交互信息，具有很强的表意功能，例如通过增加手势动作来加强对事物的表达，传达语言难以表达的信息，或直接使用手语交流。通过此方法以实现人机协作自然交互控制并确保人机协作过程中人的生命安全问题。

手势识别是通过对手势区域进行分割后对图像进行特征值提取，然后再对手势进行建模，其可以将参数空间中的动态点集合映照到该片区域中的里某些个子集中，手势识别的领域区分为静态手势识别和动态手势识别，并且最终动态手势识别可以通过多帧分解来转化为静态手势识别。latha等人通过计算目标数据和样本手势训练得到的手势模板之间的hausdorff距离计算的相似度实现手势识别。该识别方法计算简单和速度快，但是其不同手势之间的划分程度取决于特征值的选择，因此可识别的手势较为局限；tusor等采用了基于人工祌经网络和模糊理论的方案，通过设置先验模糊规则来对不同手势进行分类。其识别准确率建立在大数据的训练集上，虽然采用模糊网络改进了训练迭代速度，但训练过程仍然过长，不适用于实时识别；x wang等人使用baum-welch算法训练隐马尔科夫模型，然而随着交互应用的发展和对识别精确度要求的提高，单一的此模型已经不能满足应用的需要，因此xy wang等对将隐马尔科夫模型与模糊神经网络结合提出基于（隐马尔科夫－模糊神经网络模型）hmm-fnn的模型结构通过设立模糊规则使能够识别更为复杂的手势，虽然进一步提高了精确度，但是仍具有模糊规则对于先验经验的依赖性以及较多隐含层结点导致其收敛速度仍然不足等缺点.

2. 研究的基本内容与方案

本次设计根据leapmotion原理与使用方法与六自由度工业机器人基本原理，采用abb或kuka工业机器人操作与编程方法、leapmotion sdk开发技术和c#或c 编程语言以及桌面应用程序开发技术进行设计开发。具体方案如下所述：
(1) 使用leapmotion传感器提取人体手部信息（如获取手部的骨骼点的坐标信息等），以实现手势数据的釆集及预处理；

(2) 通过采集的数据进行手势识别模型的建立，借助一些算法做手势的分类，先采取简单手势（如握紧，张开，向前，向后等）并进行初步的模型的测试与建立，手势建模是基于图像的信息向量序列进行模型分析，一般则是基于手势信息手势的模型，如手部轮廓、向量特征、区域直方图或运动向量轨迹特征等等；
(3) 基于工业机器人编程方法设计机器人端程序，实现pc端与工业机器人间的通信，通过人体手势对工业机器人进行控制，达到基本的自然人机交互效果。

最终实现使用leapmotion传感器开发一个人机协作手势识别与控制系统，实现通过人的手势对工业机器人进行控制，并达到基本的自然人机交互效果。

3. 研究计划与安排

(1) 第1－3周：查阅相关文献资料，明确研究内容，学习毕业设计研究内容所需理论的基础。确定毕业设计方案，完成开题报告。
(2) 第4－5周：熟悉掌握基本理论，完成英文文献的翻译。
(3) 第6－9周：熟悉相关硬件与软件，搭建系统开发环境。
(4) 第10－12周：针对设计任务进行系统设计与实现。
(5) 第13－15周：系统测试，完成并修改毕业论文。
(6) 第16周：论文答辩。

4. 参考文献（12篇以上）

[1] 张琪祥. 基于leapmotio的手势识别研究及应用[d].北京邮电大学,2018.
[2] wang l. collaborative robot monitoring and control for enhanced sustainability[j]. the international journal of advanced manufacturing technology, 2015, 81(9):1433-1445.
[3] chen s , ma h , yang c , et al. hand gesture based robot control system using leap motion[c]// international conference on, part i. springer-verlag new york, inc. 2015.
[4] barattini p, morand c, robertson n m. a proposed gesture set for the control of industrial collaborative robots[j]. 2012:132-137.
[5] 李杨韬,禹东川,靳来鹏,宋文凯,刘金双.基于leapmotion手势识别的认知训练系统的设计和实现[j].电子设计工程,2016,24(09):12-14 18.

[6]任小康,葛化亚,丁星,李道全.基于手势识别的智能家居系统[j].电脑知识与技术,2018,14(27):170-172.

[7]陈畅. 基于leapmotion的自然手势交互技术在工业机器人示教中的研究[d].华南理工大学,2018.