论文总字数：28781字

摘 要

全景视频和图像拼接是随着计算机视觉的发展而产生的一个研究热点。它通过对多个有重叠区的图像序列进行采集和拼接，来实现全景图像或视频的生成。这项技术在医疗成像、安全监控和虚拟现实等领域中发挥着重要的作用。本文以手机摄像头拍摄的图像序列为研究对象，深入分析图像拼接中的关键技术，重点研究了图像特征提取匹配和图像融合的算法，并进行了仿真实现。

在基于特征的图像配准算法中，研究了SIFT，SURF以及ORB算法。通过对三者原理的分解研究，使用Python来进行仿真，对比三者的特征点分布、提取匹配速度以及在各种变换下的适应性。由于视频拼接的实时性要求高，最终选取了鲁棒性强、运行速度快的ORB算法作为本文的最佳特征提取算法。同时，为了进一步提高图像拼接性能，本文基于RANSAC算法进一步筛选正确匹配对。在融合算法的研究中，对比研究了平均值融合法、加权平均法和多分辨率融合法。选用了融合效果好且速度快的加权平均法来实现图像融合。

最后基于全文研究，结合ORB算法和加权融合法，使用了逐帧拼接法实现视频拼接。该方法对于手持手机录制的视频有着较好的拼接效果。

关键词：图像拼接 视频拼接 特征提取匹配 图像融合

Abstract

Panoramic video and image mosaic is a research hotspot with the development of computer vision. It realizes the generation of panoramic images or videos by collecting and splicing image sequences with multiple overlapping regions. This technology plays an important role in the fields of medical imaging, security monitoring and virtual reality. In this paper, the image sequence captured by the mobile phone camera is taken as the research object, and the key techniques in image stitching are deeply analyzed. The algorithm of image feature extraction matching and image fusion is studied, and the simulation is realized.

In the feature-based image registration algorithm, SIFT, SURF and ORB algorithms are studied. Through the decomposition study of the three principles, Python is used to simulate and compare the feature point distribution of the three, extract the matching speed and adaptability under various transformations. Due to the high real-time requirements of video splicing, the ORB algorithm with strong robustness and fast running speed is selected as the best feature extraction algorithm in this paper. At the same time, in order to improve the image mosaic performance, this paper further filters the correct matching pairs based on the RANSAC algorithm. In the study of fusion algorithms, the average fusion method, the weighted average method and the multi-resolution fusion method are compared. Image fusion is achieved by using a weighted average method with good fusion effect and fast speed.

Finally, based on the full-text research, combined with the ORB algorithm and the weighted fusion method, the frame-by-frame stitching method is used to realize video stitching. The method has a good stitching effect on the video recorded by the handheld mobile phone.

Keywords: image mosaic, video mosaic, feature extraction matching, image fusion

目 录

摘 要 Ⅰ

Abstract Ⅱ

第一章 绪论 1

1.1研究背景和意义 1

1.2研究现状 2

1.2.1图像拼接 2

1.2.2视频拼接 3

1.2.3研究现状小结 3

1.3本文主要工作和章节安排 4

第二章 全景图像视频拼接理论和关键技术 5

2.1图像拼接基本流程 5

2.2图像采集 5

2.2.1旋转拍摄 5

2.2.2平移拍摄 5

2.2.3手持拍摄 5

2.3图像预处理 6

2.3.1图像降噪 6

2.3.2图像变换 6

2.3.3图像柱面投影 7

2.4图像配准 8

2.4.1基于灰度信息配准法 8

2.4.2基于变换域配准法 8

2.4.3基于特征配准法 9

2.5本章小结 9

第三章 基于特征的图像配准 10

3.1 SIFT特征 10

3.1.1尺度空间极值点检测 10

3.1.2特征点定位 11

3.1.3特征点方向赋值 11

3.1.4构造特征描述符 12

3.2 SURF特征 12

3.2.1积分图像 13

3.2.2尺度空间构造及特征点检测 13

3.2.3特征点方向赋值 14

3.2.4构造特征描述符 14

3.3 ORB特征 15

3.3.1特征点检测 15

3.3.2特征点方向赋值 16

3.3.3构造特征描述符 16

3.4特征匹配 17

3.4.1快速最近邻算法匹配 17

3.4.2 RANSAC特征提纯 18

3.5算法仿真对比 19

3.5.1特征点提取对比 19

3.5.2特征点匹配提纯仿真对比 20

3.5.3不同变换条件下特征匹配 21

3.6本章小结 24

第四章 视频中的图像融合算法 25

4.1平均值融合法 25

4.2加权平均值融合法 26

4.3多分辨率融合法 27

4.4视频拼接 28

4.5图像特征提取与拼接的软件实现 29

4.6本章小结 30

第五章 总结与展望 31

5.1工作总结 31

5.2工作展望 31

参考文献 33

致 谢 35

第一章 绪论

1.1研究背景和意义

人类获取信息的方式多种多样，其中通过视觉所获得的信息占百分之七十以上。但是由于视野范围的限制，人眼所能获得的图像仅仅是我们身处的这个全景世界的一小部分。所以，将多幅相关的图片拼接成一幅大视野、宽视场的技术——图像拼接技术就开始发展起来。

在日常生活中，通过专用设备来获得全景图像的方式有很多，比如使用广角摄像头或者专业的全景相机。然而这些设备的价格比较昂贵，而且这类设备拍摄的照片中会有比较明显的边缘畸变现象，所以更加快速、低廉地获取全景图像成为目前研究中的重点。近年来，随着数字图像处理技术的发展，基于计算机进行图像拼接的技术被越来越多的人广泛使用。通过各种算法实现图像的配准和融合，可以更加快速地生成清晰、高分辨率的全景图像。

剩余内容已隐藏，请支付后下载全文，论文总字数：28781字