基于 Kinect 的会议记录系统设计

论文总字数：25690字

摘 要

本文提出了一种用于在会议或教学环境中记录非电子形式内容的系统的设计和实现方案，应用了边缘检测、前景分割、图像增强等技术，实现了系统的虚拟按钮检测、遮挡判断、照片的后期增强处理和在线存储的功能。

在系统中根据实际需求采用基于彩色图像的感兴趣区域边缘检测方法进行系统初始化，提出了基于Kinect传感器的融合深度信息和彩色图像的前景分割方法并将其应用在虚拟按钮和遮挡检测中，使用SMTP协议将经过分割、透视变换以及图像增强的照片以邮件的形式发送并存储在云端。最后，在不同的状态切换的时候调节调节LED灯的状态，对主讲人进行系统当前状态的提醒。

系统采用基于Linux Ubuntu 14.04 环境下的个人电脑和Kinect XBOX 360传感器作为硬件，使用libfreenect开源库作为传感器驱动；使用Python和OpenCV对Kinect传感器获得的深度数据和彩色图像分析和处理；根据使用的需求对libfreenect库的Python封装文件进行了补充和修改:增加了获取高分辨率彩色图像的API。

经实验测试，系统反应速度较快，在云端存储的图像清晰便于后期阅读，具有较高的实用性，增强了信息的记录、管理和共享，美中不足的是最终图片的发送和存储速度会受到实时网速和存储的云端服务器处理速度的限制。最后存储的图片质量，受到Kinect传感器的分辨率的影响，可以实现基本需求但是清晰度仍然有待提高。

关键词：Kinect传感器，深度图像，图像处理， OpenCV，libfreenect 开源库

Design of Conference Recording System Based on Kinect Sensor

Abstract

A way to design a system used for recording non-electronic form information passing on in conferences or classes is proposed. This system will detect states of the virtual button to estimate users’ willing, and then to judge if ROI is hindered unexpectedly. Later the system will process the high-resolution image it captured to become more readable, and finally store online.

A method of ROI edge detection based on color image in accord with system requirements is proposed to initialize. In virtual button and obstacle detection, a novel object detection technique integrating depth map and color image is applied. Final images which are enhanced are sent via SMTP. Moreover, LED status will be modified every time when the system switch to the next process, in order to inform user that what state the system is currently in.

The system is based on Microsoft Kinect sensor for XBOX 360, using libfreenect as its driver.The software is develop using Python and OpenCV. In particular, an API to fetch high-resolution color image is added to libfreenect.

It has been shown in experiments that the system is highly practical: it works rapidly and images it stored is reasonably readable, which facilitate the recording, management and sharing of information. But what is unsatisfied is that, time which the system need to send and store the image is restricted by the Internet speed and the server of cloud drive. And the final image is not clearly enough due to the low resolution of Kinect sensor.

Key Words: Kinect sensor, depth map, image processing, OpenCV, libfreenect,

目录

摘 要 2

Abstract 3

目录 4

第一章 绪论 6

1.1 研究背景和意义 6

1.2 相关技术 6

1.2.1 边缘检测技术 6

1.2.2 基于深度信息的前景分割 7

1.3 论文结构简介 7

第二章 系统方案 8

第三章 Kinect传感器介绍 9

3.1 Kinect传感器的采集图像基本参数 9

3.2 Kinect 深度图像的原理及特点 9

3.3 Kinect 深度图像的缺点和相应的改善方案 10

3.3.1 深度数据的误差 10

3.3.2 和彩色图像不完全匹配 12

3.4 Kinect 的其他设备 14

第四章 系统软件实现 15

4.1 开发环境介绍 15

4.1.1 libfreenect开源库的介绍和安装 15

4.2 系统相关算法介绍 15

4.2.1 深度数据处理和选择和彩色图像的选择 15

4.2.2 ROI区域的分割和处理 17

4.2.3 基于深度图像的虚拟按钮的分割和状态检测 20

4.2.4 遮挡检测 22

4.2.5 在线存储方式的选择 24

4.2.6 对libfreenect开源库的修改 25

4.3 系统软件实现 25

4.3.1 系统初始化 25

4.3.1.1 获取ROI区域 25

4.3.1.2 获取虚拟按钮区域深度信息 25

4.3.1.3 获取ROI区域的初始深度信息 25

4.3.2 虚拟按钮状态检测 26

4.3.3 遮挡检测 26

4.3.4 对采集到的信息进行后期处理和存档 26

4.3.5 LED灯状态提醒 27

第五章 系统分析和展望 29

5.1 系统分析 29

5.2 系统不足和展望 31

5.3 系统总结 31

致 谢 32

参考文献 33

第一章 绪论

• 1. 研究背景和意义

现代社会科学技术飞速发展，而因此对人员沟通和知识交流的需求也变得更加迫切，比如学校的授课和企业中的培训、会议等都是为了这个目的设立的。而由于现在会议信息量的提升，包含的数据量等也随之增加,需要记录的信息也大大增加；而人的记忆容量有限、行为能力也是有限的，学生无法在短时间内把所有的信息都抄录下来，也很难同时做笔记和听老师解说；同样，在企业培训或者开会时，如果显示内容频繁更新，没有人能够全部把他们记录下来。

信息时代的发展导致人们记录信息的方式发生改变，从纸质存档为主流发展到现在的电子存档后来居上。而现在的显示屏、投影屏幕虽然方便快捷，电子版的课件和PPT等虽易存储，却因为不方便即时修改等原因，在使用时仍需黑板的辅助。所以某些学校老师授课和企业进行培训、开会等情况下，仍然会经常用到黑板做记录和板书，甚至还是主要的呈现方式，这些重要内容仍需听讲者手工记录。在这样的情况下，就需要辅助工具在每次主讲人在黑板上做完记录后将其板书的内容记录下来，而且最好是转换为逐渐成为主流的电子形式存储。这样，既保证了会议（或授课）的效率，节省了听讲人做笔记的时间，也保障了会议的开展效果，更加强了用户体验和参与，记录的电子形式的板书内容便于记录、管理和共享。

• 1. 相关技术
     1. 边缘检测技术

边缘检测技术（Edge detection）减少了图片的信息量并且过滤了不重要的信息，同时也把图片中的重要的结构特点保留下来。

剩余内容已隐藏，请支付后下载全文，论文总字数：25690字