论文总字数：24069字

摘 要

本文主要研究了基于单目摄像头的手势识别算法,并且利用识别出来的手势直接控制电脑软件和通过WiFi模块控制STM32外设。首先针对目前手势识别技术中准确提取手势的难点，将肤色模型和级联分类器相结合，提出了一种能够在包括人脸和复杂背景的视频帧中准确识别手部的位置并且将其提取出来的算法；在手势识别部分，选用了目前广泛应用在物体分类领域的卷积神经网络（CNN）算法，借鉴并改进了经典的卷积神经网络结构，使其减小时间复杂度和空间复杂度的情况下提高了手势识别的准确率，模型的压缩为以后向嵌入式平台移植模型提供了一种可行性方案；最后通过识别出来的手势一方面实时控制电脑软件，另一方面通过WIFI无线模块实时控制单片机外设。实验结果显示，所采取的方案能够准确识别出本实验所要识别的7种手势，平均识别准确率在99%以上。识别速度满足实时人机交互的要求。

关键词：手势识别 卷积神经网络 人机交互 嵌入式

Abstract

This paper mainly studies the gesture recognition algorithm based on monocular camera and uses the recognized gesture to control computer software directly and STM32 peripherals through WiFi module. Firstly, aiming at the difficulty of accurately extracting gestures in current gesture recognition technology, by combining skin color model with OpenCV cascade classifier, an algorithm which can accurately recognize the position of hand in video frames including face and complex background is proposed. In gesture recognition part, convolutional neural network (CNN), which is widely used in object classification field, is selected. The algorithm borrows and improves the classical convolution neural network structure, which improves the accuracy of gesture recognition with fewer parameters. The compression of the model provides a feasible scheme for transplanting the model to embedded platform in the future. Finally, the recognized gestures control computer software in real time on the one hand, and controls MCU peripherals in real time through WIFI wireless module on the other hand. The experimental results show that the proposed scheme can accurately recognize the seven gestures in this experiment and the average recognition accuracy is more than 90%. The recognition speed meets the requirement of real-time human-computer interaction.

KEY WORDS: gesture recognition， convolutional neural network，human-computer interaction，embedded platform

目 录

摘要 III

Abstract IV

第一章 绪论 1

1.1 研究背景及研究现状 1

1.2 本文结构安排 2

第二章 手势的提取与预处理 4

2.1 手部追踪算法 4

2.1.1 肤色模型 4

2.1.2 级联分类器 5

2.1.3 手部追踪算法 6

2.2 手部分割提取 8

2.3 本章小结 8

第三章 卷积神经网络模型设计 9

3.1 卷积神经网络理论 9

3.1.1 卷积层操作 9

3.1.2 LeNet-5网络 10

3.1.3 AlexNet网络 11

3.2 对于经典CNN的改进 12

3.2.1 模型的复杂度分析 12

3.2.2 减少全连接层 13

3.2.3 使用3×3卷积核 13

3.2.4 卷积因子分解 13

3.2.5 改进型卷积神经网络 14

3.3 本章小结 15

第四章 系统的设计与实施 16

4.1 系统实施方案 16

4.1.1 摄像头采集模块 16

4.1.2 手部追踪模块 17

4.1.3 神经网络训练 17

4.1.4 人机交互设计 19

4.2 实验结果 22

4.3 本章小结 22

第五章 总结与展望 24

5.1 总结 24

5.2 展望 24

致谢 25

参考文献 26

绪论

研究背景及研究现状

随着计算机技术的发展，人与计算机的交互技术取得了长足的进步。当前，人与计算机的交互已经由计算机为中心向用户为中心偏转^[1],出现了许多新颖的、符合人际交流的人机交互技术。而在其中，手势作为一种自然方便的人际交流模式，有着多样性、多样性以及其在时间空间上的差异性的优势^[2]，自然得到了人们的青睐。

当前来说，手势识别的研究主要分为两个方向。一个是基于计算机视觉的手势识别，它的主要是研究方法是通过摄像头等图像采集设备获取手势图像，然后对手势图像进行滤波、边缘检测、形态、神经网络等操作进行手势的识别。计算机视觉的概念由来已久，但是受限于当时的计算机发展水平，计算机视觉方面的研究步履维艰。直到近几十年，计算机技术发展的越来越完善，计算机的性能飞速提高，为计算机视觉的发展提供了契机。计算机视觉的研究可分为三大方向：图像处理技术、模式识别技术和最终的内容理解技术^[3]。图像处理技术一般利用滤波、增强等算法对图像进行处理，摒弃我们不需要的背景信息，增强和提取我们所需要的目标信息；模式识别技术主要是利用提取出的图像的特征对图像进行分类；内容理解技术是我们最终的追求，这一技术所要达到的目标是对图像中的对象进行理解和解释，并且能够根据此对象做出一定的判决，这也是本篇文章所要达到的目标。另一个研究方向是基于设备来进行手势识别，比如说数据手套等穿戴设备。数据手套利用了虚拟现实技术，在手套上安装了一系列的传感器，能够记录能够测量手的曲率、转动和摆动^[4]等一系列操作，复杂点的手套配备有更多的传感器，能够记录手部的姿势。一般来说，数据手套用于检测手指弯曲程度的传感器为应变片，根据手指弯曲程度的不同产生不同的应变力；位置传感器和九轴传感器能够传递手部的位置和旋转角度等信息。

人机交互技术实现了人与计算机或者嵌入式硬件之间的智能交互，将人从直接操纵计算机的交互模式中解放出来，实现了生活智能化的关键一步。目前来说，主流的、应用最广泛的智能人机交互模式是通过手机移动端进行计算机的远程控制，比如说智能家居。这种交互方式的优点很多，操作简单，并且有现今最普遍的手机移动端平台的支持，只要在局域网内，时时刻刻可以通过手机进行控制。但是另一方面，这种交互方式将人与手机之间联系的越来越紧密，逐渐达到一种手机不离身的地步。从生活多样化的角度讲，我们需要体验更多的便利的智能人机交互模式。针对此愿景，本文搭建了一种通过摄像头采集手势并且通过识别出来的手势进行人机交互的系统，此系统的目的是将想让人们不再局限于用手机进行人机交互，而是提供了另一种智能的、友好的人机交互模式。

剩余内容已隐藏，请支付后下载全文，论文总字数：24069字