摘 要

随着人机交互技术的发展，手势动作作为人类交互的一种重要方式，其受到的关注越来越高。由于手势简单，直接且易于理解，因此人们在不同时期使用不同的方法来研究手势识别及其应用，这使其成为人机交互的重要方式。

本文主要研究了基于卷积神经网络，在单一背景下进行手势的识别。本次实验构造了一个包含10种手势的共计18000张手势图像的手势数据集，同时利用谷歌开源的BlazePalm模型来实现手势的检测，之后基于语义分割，利用deeplabv3 算法来进行手势的分割，将手势动作与图片背景分离开，然后构造卷积神经网络模型进行模型训练，基于卷积神经网络的强大学习能力，对手势数据集中18000张手势图片进行手势提取、分类与迭代训练，经过50次迭代之后，最终得到识别的准确率大约为99.54%，其损失率为1.33%，识别效果较好，而且具有较强的鲁棒性。

关键词：人机交互，卷积神经网络，手势分割，手势识别

Abstract

With the development of human-computer interaction technology, gestures, as an important way of human interaction, have received more and more attention. Because gestures are simple, direct, and easy to understand, people use different methods to study gesture recognition and its applications at different times, which makes it an important way of human-computer interaction.

This paper mainly studies gesture recognition based on convolutional neural network under a single background. In this experiment, a gesture data set with a total of 18,000 gesture images containing 10 gestures was constructed. At the same time, the Google open source BlazePalm model was used to detect gestures. Then, based on semantic segmentation, the deeplabv3 algorithm was used to segment gestures. The action is separated from the picture background, and then a convolutional neural network model is constructed for model training. Based on the powerful learning ability of the convolutional neural network, gesture extraction, classification and iterative training are performed on 18,000 gesture pictures in the gesture data set. After 50 iterations Finally, the accuracy rate of recognition is about 99.54%, and the loss rate is 1.33%. The recognition effect is better and it has strong robustness.

Key words: human-computer interaction, convolutional neural network, gesture segmentation, gesture recognition

目录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 2

1.3 本文的研究内容及章节安排 3

第2章 卷积神经网络原理 5

2.1 人工神经网络 5

2.2 卷积神经网络 6

2.2.1 卷积神经网络的工作原理 6

2.2.2 卷积神经网络的结构 6

2.3 本章小结 10

第3章 手势识别 11

3.1手势识别流程 11

3.2 手势数据集的构建 11

3.3 手势检测 12

3.4 基于语义分割的手势分割 14

3.4.1 Deeplabv3 算法 14

3.4.2 空洞卷积 15

3.4.3 分割结果展示 16

3.5 手势识别 16

3.5.1模型构建 16

3.5.2 训练结果分析 18

3.6实时手势预测模块 20

3.7本章小结 20

第4章 总结与展望 22

参考文献 24

致谢 26

第1章 绪论

1.1 研究背景及意义

在第四次信息革命的冲击下，互联网延伸到了更多的领域，在此背景下，人机交互越来越变成计算机和机器人领域中重要的组成部分。人机交互技术是人和机器间借助特定途径来作出信息交互，达成特定目标的形式。在不断的发展当中，人机交互技术取得了显著的进步，现在已经成为人工智能领域中不可或缺的一部分。在诸多人机交互方式中，手势是最符合人类日常生活习惯的一种方式，是很有可能替代键盘和鼠标成为下一代人机交互技术的重要方式。故而，手势识别技术作为人机交互领域的一个重要的分支，在为人类提供智能化的生活上具有关键意义，是一个具有重要研究意义的课题。

手势识别为许多设备提供了人机交互的方式。手势识别可以输入的数据类型有很多种，比如说，无线信号、穿戴传感设备、视频、图像等。要借助手势操作设施，先要设置与其相应的控制指令，再借助拍照、视频切割等途径，来获取各种手势，最终设施就能够对和手势对应的指令作出识别，在此基础上，设施就能够实现和人的交互。通常而言，该方面技术能够细分成手势区域检测及手势识别两大模块。然而每个人的手势都是存在差异的，另外相同的手势也许有不同的含义，而且手势识别容易受到光照条件、复杂的背景、人的肤色等外界环境的影响，所以从视觉角度出发对手势作出识别的难度相当高，同时又涵盖了不同领域的知识内容。

在像舰载机起飞手势控制、聋哑人手语表述等特殊需求的场景中，手势有着无法替代的作用，同时这也是长期的研究热点，然而该方面的技术一直以来都没有和现实相匹配^[1]。近年来，在深度学习迅速发展的背景下，智能手势识别技术也开始慢慢进入人们视野，用手势动作解锁手机屏幕，借助手势来对无人机的飞行进行操控，对车载电脑进行操控等，都意味着该类技术广泛的实践意义。所以，在当前背景下的主流研究方向是将深度学习与手势识别相结合，这一研究具有很强的现实意义。

在以往的图像识别当中，普遍地需要借助特征提取算法进行，该类算法是由人工规划的，其繁复度相当高。随着技术的不断发展，越来越多的学者开始借助卷积神经网络模型及深度学习算法来进行该方面的识别。和以往的模式比较，此类模式能够针对整幅图像进行输入操作，然后于网络当中借助卷积获得特征，借助分类器对手势种类作出预测，在此基础上对参数作出调整。网络能够参照预测值和现实值间的函数关联，借助反向传播算法来获得相异层面的图像特征，这让整个网络的识别性能有所保证。其极大地避免了单特征提取算法的不足，使得识别效果和鲁棒性处于较高水平。