论文总字数：19678字

摘 要

手势作为人体行为动作的一种，无论在庞大的聋哑人群体，还是在目前的人机交互当中，都扮演着特别重要的作用。由于手语在普通群体中认知程度较差，这就使得聋哑人群体很难真正融入社会群体。因此，如何利用手势动作来实现沟通显得十分重要，而手势动作识别是其中的关键。

手势动作识别技术是融合基于先进感知技术和计算机模式识别的新型人机自然交互控制技术。目前，手势动作识别技术从大体上可以分为穿戴式传感器手势动作获取和基于计算机视觉技术的手势识别技术。

本文采用两种方法来实现：基于混合高斯模型的帧差法、基于Mask RCNN的手势动作识别。目前主要使用的帧差法检测手势动作时由于其本身的局限性不能获得有效的手势动作信息，本文对帧差法进行了改进。Mask RCNN在Faster RCNN算法基础上添加了一个新的分支，是目前最高水平的实例分割算法。首先在人体分布数据集上与训练速度较快的RCNN，输出单元分别为左手、右手、脸三部分，然后，手动标注800张手势动作图片，训练自己的数据集，参数调整到合适值后，对需要检测的视频每一帧检测 。

关键词： 帧差法 手势动作识别 Mask RCNN 深度学习 运动目标检测

Study on dynamic target recognition in continuous sign language translation

Abstract

Gesture, as a kind of human behavior, plays a particularly important role in both the large group of deaf-mutes and the current human-computer interaction. Due to the poor cognitive level of sign language in the general population, it is difficult for the deaf-mutes to really integrate into the social group. Therefore, how to use gesture to communicate is very important, and sign language recognition is the key.

Sign language recognition technology is a new type of human-computer natural interaction control technology based on advanced sensing technology and computer pattern recognition. At present, sign language recognition technology from the general. It can be divided into wearable sensor sign language acquisition and computer vision based sign language recognition technology.

This paper adopts two methods: frame difference method, mixed gaussian model and Mask RCNN. At present, the frame difference method is mainly used to detect sign language, because of its own limitations, it cannot obtain effective sign language information. This paper improves the frame difference method. Mask RCNN added a new branch on the basis of Faster RCNN algorithm, which is the highest level of instance segmentation algorithm at present. First, on the human body distribution data set and the RCNN with a fast training speed, the output unit was divided into three parts: left hand, right hand and face. Then, 800 sign language gesture pictures were manually marked to train their own data set. After the parameters were adjusted to the appropriate value, each frame of the video needed to be detected was detected.

Key words ： Frame difference；gesture recognition;Mask RCNN ;deep learning; motion target detection

目录

摘 要 I

Abstract II

第一章 引言 1

1.1手势动作识别的目的和意义 1

1.2研究现状 1

1.2.1基于穿戴式的手势动作识别技术 2

1.2.2基于计算机视觉的手势动作检测技术 2

1.3存在的问题 3

1.4本文章节安排 4

第二章 基于帧差法与混合高斯模型的手势动作识别 5

2.1基于帧差法的手势动作检测 5

2.2基于混合高斯模型的手势动作检测 7

2.2.1混合高斯模型定义 7

2.2.2模型匹配以及参数跟新 8

2.3 基于混合高斯模型的帧差法手势动作检测 9

2.4 本章小结 10

第三章 Mask R-CNN网络结构原理 11

3.1 图像分割方法 11

3.1.1 像素点阈值法 11

3.1.2 边缘检测法 11

3.1.3区域分割法 11

3.2 基于深度学习的图像分割 12

3.3 Mask R-CNN手势动作检测核心过程 13

3.3.1 Mask　R-CNN算法步骤： 13

3.3.2 ROIAlign 16

3.3.3 FPN 16

3.3.4损失函数 17

3.4 特征提取网络设计 18

3.5本章小结 19

第四章 基于Mask RCNN的手势动作识别 20

4.1 深度学习框架 20

４.2数据集的选取和预处理 20

4.3网络训练 21

4.4 实验结果分析 22

总结与展望 25

参考文献 26

致谢 1

第一章 引言

1.1 概述

随着当下经济水平的高速度发展，当下中国人已经不用在为基础的吃饭和简单的物质追求，现代人越来越估计社会弱势群体的发展，这一点和国家社会的主流声音一样，都是对弱势群体的巨大帮助。目前，聋哑人等社会弱势群体得到的帮助主要还是社会和政府对于其生活的直接帮助，例如提供定期的资金帮住，给予稳定的工作和完善的社会福利，但是这些都没有从根本上解决聋哑人及弱势群体的根本困难，他们显然不能从上述的社会帮助和关爱上解决沟通困难的问题，然而，手语是无法获得大范围的推广，只能在极少的范围内获得简单的使用。所以需要一种能够获得广泛推广的方法。针对这些现实的问题，手势动作识别技术就由此产生了，它提供了一个第三方用来实现聋哑人到机器到普通人的无障碍沟通会，通过视觉捕捉设备就能获取手势动作，然后用识别技术翻译成文字数字甚至直接转换成语言，不仅仅能传递简单的信息，同样把人语言感情表达出来^[1]。手势动作检测识别技术解决了手语交流认知度地问题，是的聋哑人能和普通人一样沟通，能更好的融入社会，能更好的享受社会经济高速发展的福利。

请支付后下载全文，论文总字数：19678字