论文总字数：43543字

摘 要

驾驶员不良的驾驶行为诱发大量交通事故，人员伤亡惨重，财产损失巨大，因而监控驾驶行为对预防交通事故意义重大。基于深度学习在计算机视觉领域的广泛应用以及车载摄像头的普及使用，车载视频监控成为可能。本文以驾驶员为研究对象，设计出一种基于车载摄像视频的行为识别算法，对吸烟、接打电话、玩手机、与邻座交谈以及双手脱离方向盘5种不良驾驶行为进行识别，并在自建驾驶员行为视频库上验证其可行性。本文侧重于驾驶员目标检测、行为特征提取及分类识别等相关算法的研究，以下为主要工作：

(1)驾驶员检测算法研究。本文针对主体为驾驶员的视频图像，改进了Faster R-CNN算法，在其基础上设计候选优化子网络，实现驾驶员的检测定位，并通过实验验证其高效性。

(2)驾驶员短时空行为特征提取。视频图像中驾驶员精确定位后，本文结合驾驶员的行为实际，提出一种基于光流幅值的均匀随机采样方法，并基于其采样的关键帧序列，改进经典的C3D(三维卷积)网络，以提取驾驶员的短时空行为特征。

(3)驾驶员行为识别网络设计。由于三维卷积池化只限于提取短时空行为特征，而驾驶员实际行为是长时间序列，故本文采用卷积长短期记忆单元构建两级子网络，提取短时空特征的上下文信息，从而学习长时空行为特征，再通过空间金字塔多尺度池化特征图，最终实现驾驶员行为识别。

关键词：驾驶员行为识别，目标检测，三维卷积池化，卷积长短期记忆单元

Abstract

The bad driving behavior of drivers induces a large number of traffic accidents, causing heavy casualties and great property losses. Therefore, monitoring driving behavior is of great significance to prevent traffic accidents.Based on the extensive application of deep learning in the field of computer vision and the popularization of vehicle-mounted camera , vehicle-mounted camera  monitoring becomes possible.Taking the driver as the research object, a video based behavior recognition algorithm is designed, which identifies 5 bad driving behaviors of smoking, calling, playing, talking with the neighbour and disconnecting the steering wheel with both hands, and validates its feasibility on the self built driver's behavior video library. Research on driver target detection, behavior feature extraction, classification and recognition and other related algorithms is emphasized in this article.The following are the main tasks：

1. Research on driver detection algorithm.In this paper, the Faster R-CNN algorithm is improved for the driver image. On the basis of it, the candidate optimization subnetwork is designed to realize the driver's detection and location, and the efficiency is verified by the experiment.
2. Extraction of short space-time behavior characteristics of drivers.After the driver is accurately located in the image, this paper proposes a uniform random sampling method based on the amplitude of the optical flow, and improves the classic C3D (3D convolution) network based on the sampling key frame sequence to extract the short space-time behavior characteristics of the driver.
3. The design of the driver's behavior identification network.Because the three-dimensional convolution pool is only limited to the short space-time behavior characteristics, and the actual behavior of the driver is a long time sequence, this paper uses the convolution long term memory unit to construct the two level subnetwork to extract the short temporal features of the context information so as to learn the characteristics of the long space-time behavior, and then through the multi-scale pooling characteristics of the space Pyramid. In the end, the driver's behavior recognition is realized.

Keywords: Driver behavior Recognition, Object Detection, 3D Convolution Pooling, ConvLSTM

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 选题背景和意义 1

1.2 国内外研究现状 2

1.2.1 驾驶员不良驾驶行为监控 2

1.2.2 目标检测 2

1.2.3 行为识别 3

1.3 本文研究内容及组织结构 7

1.3.1 研究内容 7

1.3.2 组织结构 7

第二章 驾驶员检测算法研究 9

2.1 概述 9

2.2 神经网络概述 9

2.2.1 人工神经网络 9

2.2.2 卷积神经网络 10

2.3 特征提取残差网络 12

2.3.1 残差网络结构 12

2.3.2 特征提取及实验分析 14

2.4 候选区域生成网络 18

2.4.1 网络结构 18

2.4.2 基准矩形框 19

2.4.3 损失函数 19

2.5 分类回归网络 20

2.5.1 网络结构 20

2.5.2 ROIpooling层 21

2.5.3 损失函数 21

2.6 基于候选优化的驾驶员检测改进算法 22

2.6.1 改进检测算法的网络结构 22

2.6.2 候选优化网络 23

2.6.3 损失函数 24

2.6.4 网络训练与实验分析 24

2.7 本章小结 25

第三章 驾驶员短时空行为特征提取 26

3.1 概述 26

3.2 基于光流幅值的均匀随机采样 26

3.2.1 光流概念 27

3.2.2 光流幅值计算 28

3.2.3 采样设计及实验分析 29

3.3 三维卷积神经网络 32

3.3.1 三维卷积池化 32

3.3.2 C3D网络模型 33

3.4 驾驶员短时空行为特征提取网络 33

3.4.1 梯度消失与Batch Normalization算法 33

3.4.2 网络结构设计 36

3.4.3 实验结果及分析 37

3.5 本章小结 37

第四章 驾驶员行为识别网络设计 38

4.1 概述 38

4.2 时间序列处理模型 38

4.2.1 递归神经网络 38

4.2.2 长短期记忆单元 40

4.2.3 卷积长短期记忆单元 41

4.3 提取短时空行为特征的上下文信息 43

4.3.1 网络结构 43

4.3.2 ConvLSTM网络训练 45

4.4 空间金字塔池化 46

4.4.1 网络结构 47

4.4.2 实验结果及分析 47

4.5 Dropout抵制过拟合 48

4.6 网络误差函数 50

4.7 实验结果及分析 51

4.7.1 实验环境 51

4.7.2 网络训练策略 51

4.7.3 自建驾驶员行为视频库上的实验 51

4.8 本章小结 54

第五章 总结与展望 55

致 谢 56

参考文献 57

绪论

选题背景和意义

近十年来，我国经济总量快速增长，汽车产业蓬勃发展。随着城市化进程进一步加快，以及居民生活水平的显著提高，至2017年底，国内汽车保有量达2.17亿辆，汽车驾驶人达3.42亿人，仅次于美国^[1]。伴随汽车数量增长而来的是愈发严峻的交通安全问题,2016年，我国接报的交通事故中涉及人员伤亡达21.3万起，直接财产损失逾12亿。全球范围内据统计每年逾120万人死于交通事故，数百万人受伤、致残，预计该数字至2020年仍将上升。频发的交通事故在导致人员伤亡和财产损失的同时，也引发了不容忽视的社会问题^[2][3]。

据交通事故调查统计报告，80%-90%的交通事故由驾驶员疏忽大意、不遵守交通规则等人为因素造成，在中国尤甚，由于交通法规意识的淡薄，驾驶员玩手机、打电话等不良驾驶行为较为常见。实际生活中，不安全的驾驶操作严重分散司机的注意力，降低了反应和动作速度，轻则造成交通堵塞；重则引发交通事故。模拟实验表明，低头看清手机短讯最少耗时2秒，而当汽车以时速50公里行驶时，将以近乎失控的状态开出27.8米。另有研究显示，行车途中接打电话比正常驾驶而导致交通事故的概率高出180%，如若司机驾驶时通过手机发送短讯，造成事故的概率则增加22倍。美国国家公路交通安全管理局(NHTSA)统计表明，减少驾驶员打电话等不良驾驶行为将显著降低人为因素导致的交通事故发生率^[4]。因此，监管约束驾驶员的不良驾驶行为，加大对其安全意识和交通法规的教育力度，可缓解道路交通安全压力，有效降低事故发生率。

剩余内容已隐藏，请支付后下载全文，论文总字数：43543字