论文总字数：18168字

摘 要

近年来人与人之间的手势交流方式被逐渐应用于人机交互，但由于手势变化方式的多样性，给识别增添了不小的难度。随着GPU等硬件设备的飞速发展，深度学习也迎来了一次飞跃式的进步，这让实时手势识别的实现成为现实。一般来讲，在计算机上实现手势识别需要一整套的流程，手势识别需要获取待识别的手势图像，然后对图像中手势进行分割处理和形态学滤波。随后送入到神经网络模型中进行手势特征的提取和手势的分类。整个过程中，虽然手势图片的预处理十分重要，但是手势识别是否准确高效，核心还在于神经网络的搭建。

众所周知，卷积神经网络在手势识别分类方面表现优异，本文详细介绍了卷积神经网络的基础理论，对神经网络各层的组成还有模型训练过程进行了进一步的阐述。并在此基础上介绍了经典的LeNet5结构。

在神经网络的实现环节，既参考了LeNet5结构又在其结构上做了改动，用自建的数据集进行模型的训练后，对五分类的手势识别有着较为出色的表现。用训练好的模型和OpenCV模块相结合，成功实现了实时的静态手势识别。

关键词：卷积神经网络；模型训练；实时手势识别

Abstract

Over the years, the gesture communication between people has been gradually applied to human-computer interaction, but due to the diversity of hand changes, it has added a lot of difficulty to recognition. The rapid development of hardware devices such as GPU, deep learning has also ushered in a leap forward, which makes the realization of real-time gesture recognition a reality. Generally speaking, implementing a gesture recognition on a computer requires a whole set of processes. The gesture recognition needs to acquire a gesture image to be recognized, and then segment the gestures in the image and perform morphological filtering. It is then sent to the neural network model for gesture feature extraction and gesture classification. In the whole process, although the preprocessing of gesture pictures is very important, whether the gesture recognition is accurate and efficient lies in the construction of the neural network.

As we all know, convolutional neural networks are excellent in gesture recognition classification. This article introduces the basic theory of convolutional neural networks in detail, and further elaborate on the composition of each layer of neural networks and the model training process. And on this basis, the classic LeNet5 structure is introduced.

In the implementation of the neural network, both the LeNet5 structure and the structure have been modified. After training the model with a self-built data set, it has a relatively good performance in the five-class gesture recognition. Combined with the trained model and OpenCV module, successfully realized real-time static gesture recognition

Key Words：Convolutional neural network; model training; real-time gesture recognition

目录

摘 要 I

Abstract II

第1章 绪论 1

1.1 主要研究背景和意义 1

1.2 国内外研究现状综述 1

1.2.1 国外手势识别研究现状 1

1.2.2国内手势识别研究现状 2

1.2.3基于CNN的手势识别研究现状 2

1.3在本次毕设中完成的工作 2

第2章卷积神经网络理论基础 3

2.1神经网络的结构 3

2.2卷积神经网络 4

2.2.1卷积的计算 4

2.2.2卷积层 5

2.2.3池化层 5

2.2.4激活函数层 6

2.2.5非全连接处理 9

2.2.6经典LeNet5结构 9

2.3网络训练过程 11

2.3.1自适应学习率调整 11

2.3.2交叉熵损失函数 11

2.3.3前向传播和反向传播 11

第3章采用卷积神经网络的手势识别 13

3.1手势识别的流程 13

3.2图像的分割 14

3.2.1基于肤色模具的分割法 14

3.2.2灰度阈值分割法 15

3.3图像处理 15

3.3.1高斯滤波 16

3.3.2开运算 16

3.4数据集 16

3.5 卷积神经元网络模型搭建 17

第4章 训练结果分析 19

4.1卷积神经网络各层输出的特征图 19

4.2准确率与损失值 22

4.3静态实时手势识别 23

第五章 总结与展望 24

5.1总结 24

5.2展望 24

参考文献 26

致谢 27

第1章 绪论

1.1 主要研究背景和意义

随着近年来计算机软硬件技术的不断进步，计算机在日常学习生活发展中发挥着越来越重要的作用。与此同时，它还提供了互动的新方式——人机交互。

在一定程度上与人与人之间的交互模式相似，人机交互主要是人与计算机系统之间的信息交流，让计算机可以接受指令，达到所要求控制的目的。但近年来人机交互的发展速度较为缓慢，传统的硬件交互设备如触摸屏、键盘、鼠标等并不自然，并且计算机一直处于被动的接受状态，并不能完全满足人们的交互要求。随着人工智能研究的进展，计算机从被动接受信息向着主动理解信息的方向发展成为了人机交互形式发展的新趋势，这要求计算机能够准确理解人类各种各样的表达形式，例如手势、语言、表情等。

在几种交互方式中，用手势进行人机交互更加自然、方便、直接。手势是具有一定意义的肢体性语言，主要通过手指和手掌组成的形状表达。手势具有非声音交流的特性，无论是否开口讲话，都可以表达有实际意义的信息。手势还可以与肢体动作相结合来表达不同的含义。除此之外，同一手势在不同文化背景的地区有着不相同的含义。 因此，手势识别作为新的人机交互方式在深度学习等研究领域备受瞩目。

1.2 国内外研究现状综述

1.2.1 国外手势识别研究现状

Seongog Shir 等人利用HMMS（隐形马尔科夫模型），使用惯性和肌电扫描传感器装置进行手势识别，将其适配到移动机器人的控制方法上，有着很出色的效果。Hardy Francke 等人采用了boot分类器，并结合了已知的肤色类型进行跟踪，提出了“主动学习和引导”这种新的训练方法^[1]，在动态环境下对手进行了实时追踪识别。实践证明这种方法有着更好的效果，在仿真中检测率是97％，跟踪率是99％，识别率是70％。Rossi M, Benatti S, Farella E等人使用HMMS（隐形马尔科夫模型）区分稳态和暂态的数据，使用SVM分类处于稳态的手势肌电信号。Prasuhn L, Oyamada Y, Mochizuki Y提出了HOG（基于方向梯度直方图）进行手势识别的方法，该方法通过增加数据库中手势外观变化的图像来提高手势的识别准确率。Sridevi K, Sundarambal M, Muralidharan K运用RBF（三层径向基网络）对24中美国手语进行识别，在FPGA中实现。

很多国外的科技公司也对手势识别技术有着充足的兴趣，他们投入了大量的研究成本，也收获了不错的成就。例如三星公司2019年利用深感相机进行手势识别可以用于VR头显， 近年来推出的智能手机集成了手势、面部、语音的识别功能。一些基本操作可以通过手势来完成。

1.2.2国内手势识别研究现状

电子科技大学的程洪等人提出了基于WDTW（Windowed Dynamic Time Warping）的3D手势轨迹识别和手势集群为抽象手势的方法，极大提高手势多分类问题。上海交通大学的顾立忠等人使用了Zernike矩重构原图像，提出了基于完备特征集的方法，克服了静态识别中手势之间的非线性变换问题。

请支付后下载全文，论文总字数：18168字