摘 要

当前阶段，人机交流的一个发展方向是让人与计算机的交流方式更加符合人类的交流习惯。在人类的实践生活中，手势在交流方面扮演了很重要的角色。因此，人机交流领域各个方向的研究方兴未艾，越来越多的研究者也逐渐转向对手势识别的研究上来。

本文对动态手势识别过程中的各种相关技术进行了分析和研究，最终实现了一个软件系统对一些较为简单的手势轨迹进行了识别。

本文的主要研究内容包括以下三个方面：

(1)动态手势区域定位：此部分的研究主要涉及肤色分割方法以及动态目标检测方法。动态目标检测方法有很多，通过对不同方法的分析、实践，本文最终选择帧间差分方法实现对动态手势的初步检测，之后利用肤色分割方法对手势区域进行最终定位。

(2)轨迹特征提取：本文采用八方向运动角度作为手势轨迹的特征量，并用一定的数学方法将其提取出来。

(3)模型训练及轨迹识别：该部分基于隐马尔可夫模型做相应研究，采用已成熟算法分别解决样本训练问题以及轨迹识别问题。

软件系统实现平台为Visual Studio 2008，OpenCV函数库版本号为2.4.10。软件语言为C 。硬件包括摄像头和笔记本电脑。

关键词 动态手势识别 动态手势检测 特征提取 手势跟踪

Abstract

Nowadays, a development trend in the field of human-computer interaction is to make the communication between people and computers more similar with the communication between people. In our daily life, hand gesture plays an important role in communication. Therefore, the research in the field of human-computer interaction is now in the ascendant, and more and more researchers are turning to the research on hand gesture recognition.

This thesis analyzes and studies kinds of related techniques in the process of dynamic gesture recognition, and finally implements a system to recognize some simple gesture trajectories.

The main contents of this thesis include the following three aspects.

(1) Locating the hand in the image sequence: There are many methods to detect dynamic objects. By analyzing the different methods in the practice process, this thesis finally chooses the frame differential method to achieve the initial detection of dynamic gestures, before using skin color segmentation method for final locating of the hand area.

(2)Feature extraction: This part uses eight motion angles as the features of the gesture trajectory, and extracts them with a certain mathematical method.

(3)Model training and recognition: This part is based on the hidden Markov model, using the mature algorithms to solve the sample training problems and the trajectory recognition problems respectively.

Implementation is completed by selecting Visual Studio 2008and OpenCV 2.4.10. The programming language is C . The system hardware includes a cameras and a laptop computer.

Keywords: hand gesture recognition, dynamic gesture detection, feature extraction, gesture tracking

目录

摘要 I

Abstract II

目录 III

第1章 绪论 1

1.1 研究背景及研究意义 1

1.2 国内外研究现状 1

1.2.1 国外研究现状 1

1.2.2 国内研究现状 2

1.3 论文研究内容及结构安排 2

第2章 帧图像预处理技术研究 4

2.1 消除噪声技术研究 4

2.2 直方图均衡化技术 5

2.3 数学形态学手势图像处理技术研究 6

2.4 本章小结 7

第3章 目标手势检测与分割 8

3.1 肤色分割技术研究 9

3.1.1 颜色空间模型选择 9

3.1.2 HSV颜色空间下的肤色分割 9

3.2 动态目标检测技术研究 9

3.3 肤色分割与动态目标检测技术结合方法研究 11

3.4 本章小结 14

第4章 手势轨迹特征提取与识别 15

4.1 手势轨迹特征提取研究 15

4.1.1 轨迹特征选取 15

4.1.2 轨迹特征提取 15

4.2动态手势识别方法介绍 17

4.2.1 动态手势识别方法选取 17

4.2.2 隐马尔可夫模型基本介绍 17

4.2.3 隐马尔可夫模型研究的三类基本问题 17

4.3 基于隐马尔可夫模型的轨迹识别研究 18

4.3.1 对运动手势轨迹进行隐马尔可夫模型建模 18

4.3.2 基于Baum—Welchs算法的隐马尔可夫模型训练 19

4.3.3 基于前向—后向算法的动态手势轨迹的识别 20

4.4 本章小结 21

第5章 手势识别系统设计 22

5.1 系统概要设计 22

5.1.1 系统模块分析 22

5.1.2 识别系统框架图 22

5.2 识别系统实现 23

5.3 本章小结 24

第6章 总结和展望 25

6.1 研究总结 25

6.2 工作展望 26

参考文献 27

致谢 28

第1章 绪论

1.1 研究背景及研究意义

人机交流的最终目标是使人与计算机交流的性能能够和人与人交流的性能相媲美。在人机交流这个领域，诸如图像处理与模式识别，人机工程，人工智能等热门科学技术在过去几十年得到了飞速进步与发展。根据设备基于不同的人类感觉设计，当前的人机交流技术主要分为通过听觉的设备输入，通过视觉的设备输入以及通过触觉的设备输入三大类。它们基本上都是通过窗口界面的形式进行输入与输出，这种交流并不是以人为核心，它与人与人之间正常的交流习惯有很大不同。当前技术的发展方向就是希望人机交流更符合人类的交流习惯。

手势在我们的日常生活中扮演了非常重要的角色。在我们的身体的不同部位中，手是最有效率，最为通用的交流工具。在现有研究工作的基础上，手势识别技术可以被分为两大类：一种是用户戴上数据手套，手套上的电缆连接计算机设备。这种技术对于使用者来说较为复杂而且成本较高。另一种是基于视觉的识别技术，这种技术往往是基于各种各样的模型对目标进行定位进而进行识别，对于用户来说，这种技术操作起来较为方便，更加人性化。因此，最近几年，出现了许多基于视觉方法的手势识别技术。

对于静态手势的识别主要包括手势分割，手势特征提取与手势识别三部分。在实际生活中，这种技术应用不多。应用较为广泛是动态手势识别技术，动态手势可以看成是一系列连续的静态手势。但是，在当前阶段，动态手势识别技术的研究仍然停留在理论环节。