1. 研究目的与意义（文献综述）

1.1 研究目的及意义

自2012年以后，由于数据量的上涨、运算能力的提升和机器学习新算法（深度学习）的出现，人工智能开始出现了大爆发。传统的机器学习算法在指纹识别、基于hog的物体检测、基于haar的人脸检测等方面的应用达到了比较高的水平，但是举步维艰，直至机器学习新算法——深度学习算法的出现。深度学习是用于建立、模拟人脑进行分析学习的神经网络，并模仿人脑的机制来解释数据的一种机器学习技术。深度学习是一个多层次的学习，用较少的隐含层是不可能达到与人脑相类似的效果的，就需要逐层学习并把学习到的知识传递给下一层，通过这种传递，就能够实现对输入信息的分级表达。它的实质就是通过建立、模拟人脑的分层结构，对外部的输入信息（图像、视频、声音等）进行从低级到高级的特征提取，最终这些特征表达将比较复杂抽象的特征转化为比较简单的易于计算机表达的特征。

2. 研究的基本内容与方案

本课题根据深度学习（deeplearning）原理，拟设计一种基于卷积神经网络的算法，用于识别动态手势。动态手势识别可大致分为两个过程，第一个过程为基于图像特征（轮廓，边缘等）的手势分割，第二个过程为基于卷积神经网络的手势识别。并要求基于tensorflow平台搭建动态手势识别模型，并利用chalearngesture data (cgd)手势数据集测试识别精度与识别速度。

动态手势识别首先要进行图像的采集，主要是利用摄像头采集有关手势的视频，将视频分成一帧一帧的图像，然后对这些图像进行相应算法的分析。本设计用opencv进行图像采集，即开源计算机视觉库，它基于c语言和部分c 语言来开发，可用于计算机视觉、图像处理以及模式识别和跟踪。

采集到的手势图像中可能会有光照不均衡、噪声、背景等影响特征提取的因素，这些因素会导致从手势图像中提取出来的特征不能获取有效的手势特征，从而影响手势识别的精度，因此，首先要对手势图像进行预处理，大致要经过去噪、二值化处理以及手势分割等过程，手势分割的效果直接影响到下一步特征提取及手势识别的结果。由于肤色在色彩空间中有一定的聚类特性，目前绝大多数的手势分割方法都是利用肤色的颜色特征(yuv、hsv、ycbcr、rgb等)或几何特征(如椭圆模型、图模型)完成，另外还有基于深度阈值分割法、彩色图像和深度图像结合的分割法等。

3. 研究计划与安排

第1－4周：查阅相关文献资料，明确研究内容，了解研究所需理论基础。确定方案，完成开题报告。

第5－6周：熟悉掌握基本理论，完成英文资料的翻译，熟悉相关工具软件的使用。

第7－9周：设计并实现基于图像特征的手势分割算法。

4. 参考文献（12篇以上）

[1] x. zhou, q. wan, w. zhang, x. xue andy. wei. model-based deep hand pose estimation. cvpr arxiv:1606.06854, 2016.

[2] c. zimmermann, t. brox. learning toestimate 3d hand pose from single rgb images. iccv arxiv:1705.01389, 2017.

[3] 吴晓风, 张江鑫, 徐欣晨. 基于faster r-cnn的手势识别算法[j]. 计算机辅助设计与图形学学报, 2018, 30(3):468-476.