论文总字数：34450字

摘 要

随着我国经济的快速发展与工业水平的提升，对于进一步提升生产力水平的需求愈为迫切，因此一系列自动化程度较高的机器人在诸多行业得到了广泛的应用。以室内家务机器人、快递自动分拣机器人等领域为例，基于视觉相机的同时定位与建图技术（SLAM）正在帮助它们降低成本、提高工作效率。本文致力于在室内场景下对基于语义信息辅助的视觉定位与建图技术进行研究。论文的主要内容如下：

(1) 实现了一种基于ORB-SLAM2算法的改进算法，针对目标物体的特征创建字典，并改进字典权重计算方式，将其应用到SLAM系统的回环检测中。

(2) 实现了在SLAM系统中构建目标物体的语义模型库，模型库能够表示目标模型的表面特征与三维立体位置，同时包括环境中目标物体的位置、姿态、置信度等语义信息。目标模型可以插入点云地图并与选用的SLAM算法结合用于定位与建图。

(3) 研究了视觉SLAM系统的点云地图语义分割技术，通过对目前国内外相关研究方向和算法的归纳与整理，主要研究了一种基于FCN神经网络的点云地图语义分割技术。

在LINUX平台上，采用C 编程语言实现了一个支持上述功能的软件系统，并设计实验验证了上述算法。

关键词：视觉SLAM，ORB-SLAM2，闭环检测，语义信息，点云分割

Abstract

With the rapid development of China's economy and the improvement of the industrial level, the need for further improvement of the level of productivity becomes more urgent. Therefore, a series of highly automated robots have been widely used in many industries. Taking indoor housekeeping robots, courier automated sorting robots as examples, the camera-based Simultaneous Localization and Mapping (SLAM) is helping them reduce costs and increase work efficiency. This article focuses on the research of visual positioning and construction techniques based on semantic information assistance in indoor scenes. The main content of the paper is as follows:

(1) An improved algorithm based on ORB-SLAM2 algorithm is implemented: a dictionary is created for the characteristics of the target object which is applied to the loop detection of the SLAM system, and the dictionary weight calculation method is improved, and it is applied to the loop detection of the SLAM system.

(2) The semantic model library of the target object is constructed in the SLAM system. The model library can represent the surface features and three-dimensional spatial position of the target model, and it also includes the semantic information such as the position, posture and confidence of the target object in the environment. The target model can be inserted into a point cloud map and combined with the selected SLAM algorithm for positioning and mapping.

(3) The semantic segmentation technology of the point cloud map of visual SLAM system is studied. By summarizing and sorting the relevant research directions and algorithms at home and abroad, a semantic cloud segmentation map based on FCN neural network is mainly studied.

On the LINUX platform, a software system supporting the above functions was implemented using C programming language, and the above experiments were verified experimentally.

Keywords: visual SLAM, ORB-SLAM2, loopback detection, semantic information, point cloud segmentation

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1研究背景 1

1.2国内外研究现状 1

1.3本文研究目的与主要研究内容 3

第二章 一种实时的视觉SLAM系统基本原理 4

2.1引言 4

2.2视觉SLAM框架 4

2.3一种实时的视觉SLAM系统流程 4

2.4视觉SLAM系统的追踪与定位算法 5

2.5视觉SLAM系统局部建图算法 9

2.6视觉SLAM系统闭环检测算法 12

2.7本章小结 13

第三章 一种结合目标物体语义特征的SLAM改进算法 14

3.1引言 14

3.2词袋与字典模型 14

3.3利用字典的相似度计算 16

3.4针对目标物体特征的DBOW2库改进算法 17

3.5一种添加目标物体模型库的视觉SLAM算法 18

3.6本章小结 21

第四章 视觉SLAM点云地图语义分割技术研究 22

4.1引言 22

4.2 卷积神经网络（CNN） 22

4.3 全卷积神经网络（FCN） 25

4.4视觉SLAM三维点云数据的语义分割 25

4.5本章小结 26

第五章 实验设计与验证 27

5.1引言 27

5.2软硬件平台 27

5.3基于ORB-SLAM2的改进视觉SLAM软件实验 27

5.4基于FCN神经网络的点云地图语义分割实验 32

5.5本章小结 34

第六章 总结与展望 35

6.1总结 35

6.2不足之处与展望 35

参考文献 36

致 谢 39

第一章 绪论

1.1研究背景

计算机视觉是对通过相机和计算机来获取被拍摄物体数据与信息的研究。同时我们人类想象着有朝一日计算机能够和人一样，用眼睛去观察世界，理解周围的事物，探寻未知的领域——这是一个美好而又浪漫的梦想，从上个世纪就有着很多的科研人员为这个目标而不懈探索。对于计算机视觉技术的研究在近几年得益于硬件水平的提高和算法的完善取得了大量的进展。

与此同时，在没有环境先验信息的情况下，通过相机在运动过程中建立周边环境的模型，并估计自己的运动的研究，即视觉SLAM技术作为计算机视觉的一个重要研究方向，在经历了近30年发展后，已经逐渐实现实时快速跟踪自身位置并对周边环境进行建图^[1]。该技术对于设备的要求不高，成本很低，并且在室内定位与建图精度较高，在机器人工业、虚拟现实、自动驾驶汽车等等许多领域都有初步应用。

剩余内容已隐藏，请支付后下载全文，论文总字数：34450字