基于增强学习的移动机器人路径规划方法研究

论文总字数：23174字

摘 要

近年来，随着移动机器人应用领域的拓宽，与其相关的路径规划问题也受到了越来越多的关注。根据机器人对于环境信息的了解程度，可将路径规划问题分为全局路径规划与局部路径规划。已有的全局路径规划算法对环境信息要求较高，需要处理的数据量通常较大，并且缺乏对新环境的适应性。局部路径规划算法存在的问题主要是收敛速度慢、规划结果不理想。

为了解决以上问题，本文提出使用A*算法进行全局路径规划，对Q-learning算法进行改进并将其用于局部路径规划，具体内容如下：

首先，对Dijkstra算法以及最佳优先搜索算法进行了简要分析，指出两种算法的不足之处，在此基础之上提出使用A*算法进行全局路径规划，并对其原理和运行过程进行了详细阐述和分析。

其次，简要讲解增强学习方法原理，选取Q-learning算法用于局部路径规划，针对其收敛速度慢等缺陷进行了改进。

最后，使用MATLAB软件进行仿真实验。结果表明，本文提出的方案能较好地解决移动机器人路径规划问题。

关键词：移动机器人，路径规划，A*算法，增强学习

ABSTRACT

In recent years, with the widening of mobile robot application fields, the path planning problems have received more and more attention. According to the understanding of the robot's environmental information, the path planning problem can be divided into global path planning and local path planning. Existing global path planning algorithms have high requirements for environmental information, and the amount of data that needs to be processed is usually large, and lacks adaptability to the new environment. The problems existing in the local path planning algorithm are mainly slow convergence and unsatisfactory planning results.

In order to solve the above problems, this paper proposes to use the A* algorithm for global path planning, and improve the Q-learning algorithm to use it for local path planning. The details are as follows:

Firstly, the Dijkstra algorithm and the best priority search algorithm are briefly analyzed, and the shortcomings of the two algorithms are pointed out. On this basis, the is used to plan the global path. Then we explained the principle and operation process of A* algorithm.

Secondly, the principle of the enhanced learning method is briefly explained, and the Q-learning is selected for local path planning, and then improved the defects of Q-learning algorithm such as slow convergence.

Finally, simulation experiments were performed using MATLAB software. The results show that the proposed scheme can solve the problem of mobile robot path planning better, and the improved Q-learning algorithm for local path planning can make the convergence faster.

Keywords: mobile robot, path planning, A* algorithm, reinforcement learning

目 录

摘 要 Ⅰ

ABSTRACT Ⅱ

第一章 绪论 1

1.1 国内外研究情况和项目研究概述 1

1.2 移动机器人路径规划的主要算法 2

1.2.1 路径规划技术相关研究 2

1.3 移动机器人路径规划存在的问题 3

1.4 本文所做的工作 4

第二章 环境地图与全局路径规划 5

2.1 环境地图模型 5

2.2 全局路径规划算法概述 5

2.2.1 Dijkstra算法 6

2.2.2 最佳优先搜索算法 6

2.2.3 A*算法 7

第三章 基于增强学习的局部路径规划算法 9

3.1 局部路径规划算法概述 9

3.2 增强学习方法与局部路径规划的结合 9

3.2.1 马尔科夫奖励过程 9

3.2.2 马尔科夫决策过程 10

3.2.3 计算最优策略 11

3.3 增强学习算法 13

3.3.1 SARSA算法 13

3.3.2 Q-learning算法 13

3.3.3 使用Q-learning算法进行局部.路径规划 13

第四章 实验结果分析 15

4.1 仿真实验设置 15

4.2 全局路径规划实验 15

4.2.1 全局路径规划实验总结 17

4.3 局部路径规划实验 17

4.3.1 局部路径规划实验总结 19

第五章 总结与展望 20

5.1 总结 20

5.2 展望 20

参考文献（References） 21

致 谢 22

1. 绪论
   1. 项目研究概述

移动机器人的研究始于世纪年代，由斯坦福大学研究所研制出了首台采用了人工智能学的自主移动机器人S.h.a.k.e.y；年代开始，美国国防高级研究计划局对地面无人作战平台战略计划进行了专门立项，从此，在全世界范围内拉开了全面研究室外移动机器人的序幕。年代后期，随着相关技术水平的不断提升，移动机器人开始逐步应用至各个领域，向实用化进军。相关研究成果主要有年登上火星的探测机器人“S.o.j.o.u.r.n.e.r”，汉诺工业商品博览会上的轮椅机器人，包括时至今日仍然在火星运行的“勇气号”和“机遇号”探测车等。

国内，由清华大学、国防科技大学等大学领衔组织联合研制了军用室外移动机器人，该项目的成功为国内移动机器人的研究奠定了基础。我国在移动机器人领域的研究成果还中国科学院沈阳自动化研究所的AGV和防爆机器人；中国科学院自动化所自行设计、制造的全方位移动式机器人视觉导航系统等。近年来，随着智能领域的快速发展，仅适用于特定工作环境的移动机器人已经不能满足人类对生产生活的需求，与此同时，国内多个大学也开设了人工智能学科，将会使智能移动机器人邻域的相关的研究得到飞速发展，移动机器人的应用领域也将逐渐扩大，这使得移动机器人在各种工作环境中都需要具有可靠的路径规划能力。

剩余内容已隐藏，请支付后下载全文，论文总字数：23174字