论文总字数：22297字

摘 要

随着社会的发展，人机交互的方式也发生了巨大的变化。人们的交互方式从鼠标键盘发展到了触屏指控再到现如今的人工智能语音助理各式各样，人机交互的方式逐步从刚开始非常机械性质交互慢慢变成更加自然、更加贴近人们日常生活的交互方式了。在语音交互等技术相对成熟的现在，这项工作的目的在于在Kinect的基础上进行探索能否将手势、动作等因素作为一种人机交互的方式代入到人们日常的生活与工作当中并且讨论其是否能给人们的生活带来便利。本文主要针对的场景在于课堂上老师宣讲PPT时的操作方式。以及在演讲、工作等场合，演讲人操作PPT的方式。在多媒体教学走进校园前，老师的位置常常被限制在黑板前，对于教学的进度也有很大影响。在电子教鞭走进校园前，老师的位置常常被限制在讲台上，对于学生具体掌握的情况在课堂上很难有机会去把握。而在体感教具成熟之后，老师们则不必局限于空间和手段，可以在讲台下了解学生情况的同时可以对课件进行更加多样的操作。本文主要研究内容包括以下三点。

1. 对高校教师们上课的动作及演讲者们演讲时的动作进行观察与分析，在此基础上先预设出什么样的动作对应什么样的操作。
2. 通过Kinect获取各项动作的数据代码，并在第一点的基础上添加一项预设动作。尽量减少用户下意识的误操作的情况。
3. 利用C#语言完成翻页笔各项功能模块的编写。

本文的体感操作软件类似于人们一般的交互方式，通过已经规定好的动作或手势来完成已经规定好的操作。比如通过手掌向左向右挥动的动作来完成PPT上下翻页的动作。

关键字：手势识别；动作识别；人机交互；

Abstract

With the development of society, the way of human-computer interaction has also undergone tremendous changes. People's interaction mode has changed from mouse keyboard to touch screen accusation to artificial intelligence voice assistant nowadays. The way of human-computer interaction has gradually changed from very mechanical interaction to more natural and close to people's daily life. At present, the technology of voice interaction is relatively mature. The purpose of this work is to explore whether gesture, action and other factors can be introduced into people's daily life and work as a way of human-computer interaction on the basis of Kinect and discuss whether they can bring convenience to people's life. This paper mainly focuses on the scene in the classroom when the teacher preaches PPT operation. And in the speech, work and other occasions, the way the speaker operates PPT. Before the multimedia teaching enters the campus, the teacher's position is often limited in front of the blackboard, which has a great impact on the progress of teaching. Before the electronic whip enters the campus, the teacher's position is often confined to the platform. It is difficult for students to grasp the specific situation in the classroom. When the teaching aids are mature, teachers need not confine themselves to space and means. They can understand the students'situation from the platform and operate the courseware more diversified. The main research contents of this paper include the following three points.

1. To observe and analyze the actions of teachers in class and speakers in lectures, and on this basis, to presuppose what kind of actions correspond to what kind of operations.

2. Get the data code of each action through Kinect, and add a preset action on the basis of the first point. To minimize the user's subconscious misoperation.

3. Complete the compilation of each function module of turning pen by using C #.

The somatosensory operation software in this paper is similar to the general way of human interaction. For example, by swinging the palm to the left and right to complete the PPT up and down page turning action.

Key words: gesture recognition; action recognition; gesture; human-computer interaction;

目录

摘要 III

Abstract IV

第一章 引 言 1

1.1研究背景 1

1.2研究意义 1

1.3国内外研究现状 1

第二章 相关技术介绍 3

2.1Kinect相关技术 3

2.1.1引言 3

2.1.2 Kinect工作原理 3

2.2 OpenCV相关技术 6

2.2.1引言 6

2.1.2 OpenCV工作原理 6

第三章 系统分析与设计 9

3.1系统可行性分析 9

3.2系统功能分析 9

3.3 系统功能模块设计 9

3.3.1 手势操控模块设计 9

3.3.2 手势画笔模块设计 10

第四章 系统实现 12

4.1系统功能实现环境 12

4.2系统功能模块实现 12

4.2.1手势操控完成PPT操控实现 12

4.2.2手势操控完成画笔操作实现 13

第五章 系统测试 15

5.1测试方法 15

5.2手势及动作识别测试 15

5.3功能模块测试 16

5.3.1 手势及动作操控PPT翻页测试 16

5.3.2 手势画笔测试测试 17

第六章 总结 19

6.1总结 19

6.1.1论文总计工作 19

6.1.2论文不足分析 19

6.2 展望 20

致谢 21

参考文献 22

第一章 引 言

1.1研究背景

我们现在的人机交互方式已经多种多样，并且也有刚开始非常机械性的交互发展到现如今非常自然、贴近人们生活的交互方式。随着人们对于人机交互方式的不断探索与研究。对于触屏，语音等交互方式相对来讲已经非常成熟了，同时还开发出类似眼神跟踪、动作识别等新兴的操作方式。本文主要目的在于研究动作识别与手势识别在人们日常生活中的作用，能否在一定限度上使得人机交互的方式更加的方便、快捷。

1.2研究意义

现在一般的人机交互已经十分贴近人们的日常生活但仍然存在一些机械性地操作或者通过操作相应地输入设备来进行操作。而通过体感设备人们可以将操作融入到自生地行为当中。可能以目前的科技发展在进行体感操作时还是需要做出一些非常刻意的动作，但是可以通过事前的磨合来减少这些动作的刻意性。在当今的多媒体教学课堂当中老师的位置已经不会局限于某一个位置，相比于过去老师的自由度有了很大的提升。在上课过程中老师可以更好地了解学生掌握地情况从而来调整自己教学地速度与进度。但电子教鞭的功能还不够多不够完美，老师还是需要回到讲台进行一些电子教鞭没有的操作。然而通过开发相应的体感操控软件，老师们的自由度便可以再度提升，减少了被迫待在讲台上的次数和时间。将更多的重心偏向于学生。大大提高了课堂的效率以及进度，同时也让老师们有更多的机会和时间去了解学生们的掌握进度以及相应知识的接受程度。

1.3国内外研究现状

自微软推出Xbox 360及与之对应的Kinect以来，Kinect一直是一个备受瞩目的体感设备^[1]。他让玩家们不再局限于手柄和遥感，而是通过语音和动作来操控系统界面。而在Kinect for windows推出之后，开发者们对于Kinect的学习与开发也算是真是开始了。由于Kinect最初是为相关的体感游戏而提出来的，目前为止大多数已经被开发的并且具有实践能力的Kinect应用大多是游戏开发。但Kinect依然给其他领域带来了新的方法和新的思路。当这项技术进入到医疗领域是，手术室对于卫生的要求极高，但目前的人机交互方式在手术室中运用起来不是很方便。但如果将Kinect运用到这样的环境，医师们则不必通过传统的接触式的交互方式来查询患者及手术的相关信息。通过手势和语音的共同操作下便可以完成大部分基础的简单操作。而在电子商务领域，目前已经出现了一些虚拟试衣镜的应用。使用者可以通过Kinect的相关应用查看一些服饰的上身效果，打破了传统电子商务顾客无法试穿只能通过来回退货以达到试穿效果的尴尬情况。极大地方便了人们的生活以及减少了快递等公共资源的压力和浪费。而本文则是面向教育领域的研究，探索Kinect对于目前课堂生态能否做出一些改变。

第二章 相关技术介绍

本系统通过Kinect本身来做到动作的识别，而手势的识别则借助于OpenCV3.0的功能。后台以C#为编程语言。主要思想是通过Kinect识别相应的动作从而触发相应的按键如“F5”“ESC”“左键点击”等。至此已完成了PPT翻页笔（电子教鞭）的相应功能。而通过动作手势进行画笔的功能，初步预设由两只手共同完成。通过OpenCV判断相应左（右）手势进入画笔模式，然后右（左）手进行画笔操作。接下来对于本文需要使用的Kinect以及OpenCV进行介绍。

2.1Kinect相关技术

2.1.1引言

在2010年，微软发布了一款游戏主机Xbox 360同时一同出现的也包括了Kinect（图2-1），玩家可在不使用游戏手柄的情况下完全通过动作和语音对系统界面进行操控。Kinect一经面世便受到了相当多的关注，而真正开始使其受到开发者青睐的则是之后微软所推出的 Kinect for Windows的出现。这使得程序开发者们可以在Kinect平台上进行开发与研究，是的这项技术逐渐地走向其他领域，也给其他领域带来了新的思路和新的解决方法。

剩余内容已隐藏，请支付后下载全文，论文总字数：22297字