论文总字数：32908字

摘 要

机器人视觉伺服是在机器人控制中引入视觉信息，利用视觉信息对机器人进行反馈控制。视觉信息与其他信息相比具有信息量大的特点，因而视觉信息的引入可以大大提高机器人的灵活性、准确性以及智能性。本文将深度学习引入机器人无标定伺服控制中，具体工作有以下几个方面：

首先，介绍了视觉伺服的发展历史和研究现状，分析了传统的基于标定方法的视觉伺服控制的适用场合以及存在的问题。论述了目前基于图像雅可比矩阵的无标定视觉伺服控制方法。分析了该方法存在的问题和使用的场合，在此基础上，提出了将深度学习引入视觉伺服的控制方法，改善了系统性能，扩大了机器人的工作范围。

其次，论述了视觉伺服控制的建模方法，对六自由度机械臂的坐标系统进行分析，利用摄像机成型模型，建立了“眼在手上”视觉系统下的无标定视觉伺服的模型。

而后，在机器人工作空间采集图片样本，训练深度卷积网络，建立起全局有效的非线性视觉映射模型，将图像空间与机器人运动空间联系起来。通过不断调整网络结构与超参数，对网络进行优化，提升了网络的拟合精度。

最后，针对眼在手上构型，二维平动及旋转视觉定位问题，利用深度卷积网络设计深度网络映射器，搭建了机械臂视觉伺服控制系统，并对所搭建的控制系统进行了实验分析。实验结果表明，引入深度卷积网络的无标定视觉伺服系统，省去了原先标定的繁琐，而与基于雅可比矩阵的无标定视觉伺服系统相比，则省去了手工提取图像特征的问题。并且具有较高的定位精度与快速性能，稳定性良好，具有较好的鲁棒性、抗干扰性，以及一定的应用价值。

关键词：深度学习，视觉伺服，无标定

Abstract

Robot visual servo introduces visual information into the robot control and uses visual information to feedback control the robot. Compared with other information, the introduction of visual information can greatly improve the flexibility, accuracy and intelligence of robot. In this paper, deep learning method is introduced into uncalibrated servo control of robot. The specific work is as follows:

Firstly, we introduced the development and research status of visual servo, and analyzed the application and existing problems of traditional visual servo control based on calibration method. We discuss uncalibrated visual servo control method based on image jacobian matrix. Then we analyze the existing problems and the using occasions of this method. On this basis, the depth learning method is put forward to be used in visual servo control. It improved the performance of the system; expand the scope of work of the robot.

Secondly, this paper discusses the modeling method of visual servo control, the analysis of six degrees of freedom mechanical arm coordinate system. By using a camera molding model, we establish the "eye in hand" of uncalibrated visual servoing model in the case of the visual system.

Then in the robot working space, we collect image samples, train depth convolution network, and set up effective nonlinear global visual mapping model. By adjusting the network structure and parameters, the network is optimized and the fitting precision is improved.

Finally, in view of the eye in hand configuration, two-dimensional visual positioning problem, we use convolution network to design depth network mapper, establish the visual servo control system, and design experiments to verify these matters. The experimental results show that the use of the deep convolution network in uncalibrated visual servo system eliminate the trival of original calibration. Compared with uncalibrated visual servo system based on jacobian matrix, it solves the problem of manual extraction of image characteristics. In all, the method has high positioning accuracy, fast performance, good stability, good robustness, anti-interference and certain application value.

.

KEY WORDS: deep learning, visual servo, uncalibrated

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景及意义 1

1.2 视觉伺服系统概述 1

1.2.1 视觉伺服系统的历史发展 1

1.2.2 视觉伺服系统的结构 2

1.3 基于无标定的视觉伺服 4

1.3.1 研究现状 4

1.3.2 问题的提出 5

1.4 本文的主要工作 5

第二章 机器人视觉伺服系统建模 7

2.1 引言 7

2.2 空间坐标和变换 7

2.3 视觉系统模型 9

2.3.1 成像模型与坐标系定义 9

2.3.2 摄像头成像模型 10

2.4 眼在手上机器人平面视觉跟踪 11

2.4.1 问题描述 12

2.4.2 眼在手上视觉跟踪问题图像雅可比矩阵分析 12

2.4.3 视觉映射关系模型 15

2.5 本章小结 16

第三章 深度网络映射器的设计与优化 17

3.1 引言 17

3.2 卷积神经网络的基本原理 17

3.2.1 卷积神经网络结构基本结构 17

3.2.2 卷积神经网络的基本特征 19

3.2.3 卷积神经网络的计算与训练 20

3.3 视觉映射模型 23

3.3.1 问题描述 23

3.3.2 模型建立 23

3.4 深度网络映射器的设计 24

3.4.1 数据集的采集与制作 24

3.4.2 网络模型构建 25

3.5 深度视觉映射器的优化 27

3.5.1 模型优化及对比分析 27

3.5.2 网络模型与结果 31

3.6 本章小结 32

第四章 基于深度学习的机器人无标定视觉伺服实验 33

4.1 实验平台介绍 33

4.2 控制系统设计 33

4.3 实验任务设计 34

4.4 实验结果 34

4.5 误差分析 39

4.6 本章小结 39

第五章 总结与展望 40

5.1 本文的主要工作及创新点 40

5.2 后续研究展望 40

致 谢 41

参考文献 42

绪论

研究背景及意义

长期以来，人们一直希望机器人能够像人类一样，可以感知外界的信息，并且可以利用这些信息进行自主决策和自主控制。在人类的各种感觉中，视觉是最为重要的感觉之一，它提供了人类感知客观世界大部分的信息。同样计算机视觉也是这样一种外部感知方式，它具有信息量大、非接触式测量等优点，能给机器人提供极为丰富的外界信息。利用视觉信息对机器人进行控制，可以增加机器人的智能化程度，是未来的研究方向。

机器人视觉伺服是一个跨学科的研究领域，它的原理是利用摄像头获取图像进行处理，然后通过闭环反馈来实现对机器人的控制^[1]。机器人视觉伺服控制系统通常是采用标定的方法。在不太复杂的系统中标定方法控制简单，容易实现。但是机器人系统的复杂性、周围环境的变化、场景的变化、摄像机镜头畸变等，这些都给精确标定带来了困难。不精确的标定参数会造成机器人视觉伺服系统的工作误差甚至无法工作。因此，从上个世纪90年代开始，无标定的伺服控制方法逐渐成为了诸多学者的研究方向^[2]。无标定方法的核心是建立起机器人的执行器与视觉之间的关系模型，利用摄像头反馈的当前机器人执行器状态和当前任务状态，进行机器人的控制以完成相应的任务^[3]。通常的做法是，人工选取图像特征，采用图像雅可比矩阵的方法。图像特征的选取非常依赖于具体的场景，通常采用物体的几何特征，如拐点、边、区域面积、质心等，因而多数系统都需要采用经过特殊设计、并且具有明显特征的目标，并且易受光照，杂物等的干扰。而图像雅可比矩阵的方法用于视觉伺服时需要在线更新，或者只适用于局部范围^[4]。这就体现了传统方法的局限性。

剩余内容已隐藏，请支付后下载全文，论文总字数：32908字