论文总字数：16992字

目 录

1 绪论 1

1．1手势识别研究的意义 1

1．2手势识别国内外研究现状 1

1．3论文的主要研究内容 1

1．4论文的组织结构 2

1．5基于视觉的手势跟踪与识别流程图 2

2 基于计算机视觉的手势识别基础理论 2

2．1模式识别概述 3

2．2基于计算机视觉手势跟踪理论 4

2．3基于计算机视觉手势识别理论 4

2．3．1神经网络算法 5

2．3．2基于模板的匹配算法 6

2．3．3统计分析算法 6

2．3．4隐马尔可夫模型(HMM) 7

2．4基于计算机视觉的手势跟踪与识别系统 7

3 手势图像预处理及特征提取 8

3．1手势图像预处理 8

3．1．1图像平滑 8

3．1．2图像色彩空间转换 9

3．1．3图像二值化 10

3．1．4形态学处理 11

3．2手势图像特征提取 12

4 手势跟踪算法研究 12

4．1 Camshift跟踪算法 13

4．1．1颜色概率模型 13

5 实验 15

5．1系统的软硬件环境及功能 15

5．2实验 16

5．2．1手势图像获取及手势样本库的建立 16

5．2．2手势图像的预处理 16

5．3手势跟踪实验结果及分析 17

5．4实时手势识别实验结果及分析 19

5．4．1手势识别系统流程 19

6 总结与展望 19

参考文献 20

致谢 20

基于计算机视觉的手势识别技术研究

蔡文韬

,China

Abstract：In the new century, human-computer interaction technology has developed rapidly, and human-computer interaction based on gesture has been introduced. Gesture is a natural and intuitive form of interactive communication. The purpose of this study is how to recognize gestures based on computer vision. This thesis introduces the basic theory of gesture recognition and the basic flow of gesture recognition. Firstly, using Camshift algorithm to track gestures, and then extract the gesture image from the video, and the pretreatment and feature extraction of the image, finally establishing gesture sample library and compared with the sample treated gesture image, and identify the gesture.

Key words：human-computer interaction, gesture recognition

1 绪论

1．1手势识别研究的意义

进入21世纪，随着计算机技术的迅速发展，人机交互技术也呈现蓬勃向上的趋势，先后呈现了以键盘为基础、以鼠光标为基础、以数据手套为基础等等大量的交互方式，然而从一些水平上说，在人机交互方面既不方便也不协调。这些是以硬件为人机交互的中心，人工智能发展还不成熟，人与机器的互动还略显僵硬，人没有主动控制机器的能力。随着PC端的硬件成本逐渐降低，使得PC普及率大大提高，计算机科学的蓬勃的发展趋势，在研究人类交往习惯时，大家关注的焦点分别是:识别人脸、识别人类面部表情、跟踪人类头部运动轨迹、识别人眼、手势识别等。从大的趋势来看，人机交互技术的热点从计算机中心到以人为中心，人机交互的效率明显提高。

手势是人类自诞生以来就有的本能，是人类生活中不可缺少的动作语言。手势有直观生动且形象生动的特点，在人类交流中起到不可缺少的作用。手势识别的应用前景十分广阔：(1)比如我们在平时体育场上，两个人因为距离相对比较远，说话也听不见，那么这时候就可以用到手势，简单的一个招手就能理解意思，知道是喊你过去的情况，并且这些对于语言障碍的人交流十分方便；(2)利用手势控制智能设备；(3)研究人类在视觉语言方面的的理解能力并找到规律。

1．2手势识别国内外研究现状

有两种不同方式来识别手势：以数据手套为基础的和以视觉为基础的。

以数据手套为基础的手势识别，因为数据手套可以进行虚拟场景中的物体的抓取、移动、旋转等动作，是虚拟现实方面的一种人机交互技术，可以用磁定位传感器来精确定位手的位置，缺点是成本比较大，且还要做这个手势的人带上复杂的数据手套，不与人方便，所以它不会成为发展该技术的未来方向。

以视觉为基础的手势识别，就是从简单的图像来分析手势的位置和形状。该方法成本小，它只要便宜的摄像头和一般配置的计算机就行了。人们可以比较方便的操作，能够与人方便，是研究将来的手势识别技术的大趋势。相比于以数据手套为基础的手势识别，该方法没有较高的识别概率，且不能够识别太多的手势种类。

海内外对手势识别的发展研究的比较早。比如使用3D神经网络方法识别手势，用HiddenMarkovModel方法识别数据视频中的单词随机组成的词汇，用主成分分析方法识别运动对象的形状。国内在手势识别的发展中研究较国外略慢一步，最近也取得了比较重大的成绩。比如二次分类手势特征的特征向量来识别静态手势，以矩形特征的方式来表述手势，然后通过改良而来的AdaBoost算法训练分类器来识别手势，用粒子滤波跟踪时空模板里的时空轨迹并将之压缩到一个图像中来识别动态手势。

1．3论文的主要研究内容

随着人机交互的不断蓬勃发展，人类与机器之间的交流互动十分僵化。随着计算机科学的的发展越来越快，国内外关注的热点放在了研究适应人类交互习惯方面的人机交互技术，以计算机视觉为基础的手势识别就受到越来越多的关注。

本文主要对手势跟踪与手势识别进行研究：

手势跟踪：首先就要对手势图像预处理及特征提取，然后手势进行分割与跟踪，手势割有三种方法：运动信息的方面、运动模板的方面、颜色信息的方面。我们从这三个方面对手势跟踪进行研究，。

手势识别：分为单目识别与多目识别。并运用了几种算法，有神经网络算法、模板匹配算法、统计分析算法和隐马尔科夫模型，进行高效的手势识别。

最后，是总结写作本篇论文时遇到的困难与鼓励，以及对未来状况的期望。

1．4论文的组织结构

本文含有六个章节，分别如下：

1. 绪论：简单介绍了手势识别的意义以及海内外近况。
2. 基于计算机视觉的手势识别理论基础：大体上分别介绍了模式识别理论，基于计算机视觉的手势跟踪理论，基于计算机视觉的手势识别理论。为对手势图像进行预处理和特征提取打好了基础。
3. 手势图像预处理及特征提取：介绍了手势图像预处理的几个步骤，对图像进行平滑处理、图像色彩空间转换、图像二值化以及形态学处理。预处理之后的特征提取则介绍了如何从众多特征中找出最有效的特征以降低空间维数，来提高手势识别率。
4. 手势跟踪算法研究：分析kalman跟踪算法和camshift跟踪算法的原理。
5. 基于计算机视觉的手势跟踪与识别算法实验：建立一个手势识别系统并进行实验分析。
6. 总结与展望：总结写作本篇论文时遇到的困难与鼓励，以及对未来状况的期望。。

1．5基于视觉的手势跟踪与识别流程图

基于视觉的手势跟踪与识别流程图见图1。

图1 手势跟踪识别流程图

2 基于计算机视觉的手势识别基础理论

在人类的交流沟通中，手势不可缺少，手势能够直观的表示出本意能够与人类习惯的语言形成互补。下面介绍基于视觉识别的基础理论。

2．1模式识别概述

1920年后出现了模式识别，1940-1950，计算机与人工智能迅速兴起，到了1960年后，模式识别也进入了飞速发展时期。其他科学技术领域也很重视它的理论和方法，这些使得人工智能的研究得到了发展，让计算机有了更多的应用。在发展过程中，模式识别的理论研究得到大大发展，得到了了许多理论成绩，并被普遍应用于各大领域。然而，因为模式识别的深奥，目前的理论方法和技术还难以解决这些疑难杂症。

模式即是就是通过计算机用数学技术方法来研究模式的自动处理和判读，我们把环境与客体统称为“模式”。模式识别是通过物体表象得到的信息进行处理，实现识别物体的目标。人类的求知欲让人们有识别客观事物的动力，因此，为了提高识别事物的效率，人们将事物进行分类。将一些相似事物归纳进某个类别即是模式识别的目标。

模式识别有两种方法，统计模式识别方式与结构模式识别方式。这都要设计出相对应的识别系统并且实现模式识别的目标。设计需要通过实验来选出不同的样本，并得到分类器。实现则需要对这些样本进行分类并决策。模式方法识别则如下图2所示。

图2 模式识别方法流程图

1．数据获取

数据获取是指利用一种系统，该系统有着收集各方面数据的功能，该数据可以是直接观察得到的量，也可以是直接观察或者感受不到然后转化成的数学量，我们收集数据时基本都是实时量，不过也可以收集众多连续的实时量，通过此方法分析并且得到特征量，这些都可以表示被识别对象的信息，可以通过丈量、采样和量化，二维图像和一维波形可以用他们的矩阵或者向量来表示。

2．预处理

通过预处理除去一些无用的信息以及有用信息的深化加强，仪器是有误差的，需要进行处理恢复。

3．特征提取

特征提取是把图像中的每个点进行分类，把它们归属到不同的集合中，这样得到的数据是庞大而又复杂的。比如，一副书法作品会占据若干个数据空间，一副大师所作的画也会占据若干个数据空间。这两个数据是不一样的，那就需要进行分类，需要对这些数据提取转变为我们能够清楚的知道这些事物的本质特征。我们把原始的数据构成的空间成为测量空间，然后分类出来的空间叫做特征空间，通过变换，可以把高维测量空间中的模式转为地维特征空间中的模式。

4．分类决策

剩余内容已隐藏，请支付后下载全文，论文总字数：16992字

相关图片展示：