摘 要

近年来，智能驾驶技术是车辆领域的研究热点，而实现车辆前方道路的三维立体检测功能是智能驾驶技术中的重要一环。随着深度学习和计算机视觉技术的高速发展，越来越多的优秀深度学习模型被提出来以解决目标检测问题。

目前基于深度学习的二维目标检测技术已经发展得较为成熟，但是在想在车辆领域中成功应用，还需要对车辆间距离、角度等三维信息进行检测，即三维立体检测方法。基于深度学习的三维检测方法当前仍然处于发展阶段，基于各式传感器的检测方法也层出不穷。

本文主要研究了现阶段各类检测用传感器以及较流行的三维目标检测技术，并进行了对比分析，为车辆三维立体检测方法在未来的发展路线提供了自己的看法。本文的特色在于选择了一种新颖的基于单目相机的三维立体检测模型M3D-RPN作为主要的研究对象，在分析研讨并复现成功的基础上，对本模型提出了优化改进的建议。

关键词：智能驾驶；三维立体检测；深度学习；卷积神经网络；单目相机

Abstract

In recent years, intelligent driving technology has become a popular research in the field of automobiles, and the realization of 3D detection function of vehicle front is an important part of intelligent driving technology.With the rapid development of deep learning and computer vision technology, more and more excellent deep learning models are proposed to solve the problem of target detection.

At present, the 2D detection technology based on deep learning has developed to a mature extent. However, in order to successfully apply it in the vehicle field, it still needs to detect the 3D information such as the distance and Angle between vehicles, i.e., the 3D detection method.Now 3D detection methods based on deep learning are still in the development stage, and detection methods based on various sensors are emerging one after another.

This paper mainly studies various detection sensors and popular 3D target detection technologies at the present stage, and makes a comparative analysis, so as to provide our own views on the development route of vehicle 3D detection methods in the future.The feature of this paper is that a novel 3D detection model m3d-rpn based on monocular camera is selected as the main research object. Based on the analysis, discussion and success, Suggestions for optimization and improvement of this model are proposed.

Key Words: intelligent driving; 3D detection; deep learning;CNN; monocular camera

目 录

第一章 绪论 1

1.1研究背景与意义 1

1.2 国内外研究现状 1

1.2.1 二维目标检测 1

1.2.2 三维目标检测 2

1.2.3 车辆驾驶邻域应用现状 2

1.3主要研究内容与技术路线 3

1.4 本文的内容组织结构 4

1.5本章小结 4

第二章 深度学习与目标检测方法的介绍 5

2.1 深度学习的介绍 5

2.2卷积神经网络概述 6

2.2.1卷积层 6

2.2.2池化层 6

2.2.3全连接层 7

2.2.4激活函数 7

2.2.5损失函数 8

2.3基于深度学习的二维物体检测 8

2.3.1基于候选区域的二维目标检测 9

2.3.2基于回归方法的二维物体检测 10

2.4本章小结 11

第三章 基于深度学习的三维立体检测算法介绍 12

3.1三维立体检测应用传感器介绍 12

3.1.1单目相机 12

3.1.2双目相机 13

3.1.3激光雷达 14

3.1.4深度相机 15

3.2基于单目相机的三维立体检测算法 15

3.2.1 Mono 3D 15

3.2.2 Deep MANTA 16

3.3基于双目相机的三维立体检测算法 17

3.3.1 3DOP 17

3.3.2 Stereo R-CNN 17

3.4基于点云的三维立体检测方法 18

3.4.1基于鸟瞰图的检测算法 18

3.4.2基于Voxel Grid的三维检测算法 18

3.4.3基于原始点云的三维立体检测算法 18

3.5本章小结 19

第四章 一种新的单目相机三维目标检测模型研讨 21

4.1深度学习框架Pytorch介绍 21

4.2数据集KITTI介绍 21

4.3模型有关内容介绍 22

4.3.1 densenet-121 22

4.3.2 锚框（Anchor box） 23

4.3.3深度学习优化器 23

4.4研究背景与难点分析 24

4.5算法流程 24

4.6 三维区域建议网络 24

4.6.1锚框设计 25

4.6.2三维检测 25

4.6.3损失函数定义 26

4.7网络结构 27

4.8深度卷积神经网络 28

4.9 从三维到二维的优化算法 29

4.10结果验证 30

4.11归纳与优化建议 30

4.12本章小结 31

第五章 总结与展望 32

5.1全文总结 32

5.2未来展望 32

参考文献 34

致谢 36

附录A 37

第一章 绪论

1.1研究背景与意义

随着我国人民经济水平不断提高，汽车已经逐步成为了中国家庭常见的交通工具。据国家统计局发布的2019年国民经济和社会发展统计公报数据显示，2019年末全国民用汽车保有量为2.615亿辆，比去年增加2122万辆。但是可以预见的是，随着汽车数量的极具增加，交通事故的风险也随着增大^[1]，这对人民生命安全与经济财产都造成了较大的威胁。通过分析公路交通事故原因可以了解到，80%以上的交通事故是由驾驶员的人为因素导致，所以如何辅助甚至替代驾驶员控制汽车行驶成为了汽车行业的研究热点。而为实现辅助或自动汽车行驶，实现对汽车行驶过程中前方目标准确检测识别成为重要一环。

近年来，与深度学习相关的理论不断发展完善。而随着图形处理器（Graphics Processing Unit,GPU）计算性能的不断提升，深度学习方法在目标检测技术领域也得到了飞速地发展。实际上，在计算机视觉领域中的目标检测一般代指对二维目标的检测识别，即在二维彩色图像中对图像内的目标进行检测，识别出目标物体的类别并得到目标在图像坐标系中的坐标位置与尺寸信息^[2]。但是，现实世界是处于三维立体空间中，因此要想实现车辆驾驶领域的目标检测不仅要获取基础的二维信息还要获取目标物体的三维信息。以汽车无人驾驶过程为例，在此过程中，面对前方路况，车载计算机不仅得了解前方各物体的类别与位置，还需要知道该物体与行驶车辆的距离及角度等三维信息才能保证汽车的正常行驶。

本文将首先分析三维目标检测中应用到的激光雷达、双目相机与单目相机等多种传感器的特点与工作原理及其对实现三维目标检测的影响，然后对目前主流的三维目标检测的几种方式进行介绍与分析，最后将着重分析一种以单目相机实现三维目标检测的新颖算法，并对该算法提出改进及优化建议。

1.2 国内外研究现状

1.2.1 二维目标检测

事实上，目前基于深度学习的二维目标检测的方法已经相对成熟，而这些基于卷积神经网络的目标检测算法又大致分为两类：第一类是基于目标候选框的检测方案，这其中包括R-CNN、Fast R-CNN、Faster R-CNN等，这类方案采用的是先粗检测找到目标候选框，再精检测确定检测目标的方式进行检测；第二类是基于一体化卷积网络的检测方案，这其中包括YOLO、SSD、YOLOv2、YOLOv3等，这类方案直接采用回归的方法得到最终检测结果。显而易见，第一类方案的计算复杂，更耗时，但是其精度相比较而言也更高，而第二类方案的精度相比较而言更低些，但是由于生成候选框及识别目标在同一个阶段完成，所以检测速度更快。

1.2.2 三维目标检测

较之相对成熟的二维目标检测，与三维目标检测相关的研究才刚刚兴起且更具有挑战性。这是因为三维目标不仅需要二维图像的RGB图像信息，还需要三维空间信息。2012年，Geiger等人给出的 KITTI 数据集，为研究人员提供了一个全新的三维机器视觉性能评价基准，正式拉开研究三维立体检测的序幕，此外也探讨了自动驾驶的发展动向。在短短的数年之后，自动驾驶蓬勃发展，三维立体检测算法也层出不穷。三维立体检测的目标是返回三维边界框，不仅需要二维的彩色图像信息，还需要与之对应的深度信息。目前获取深度信息的方式主要有单目相机、双目相机获取的 RGB图像和激光雷达获取的点云图。

1.2.3 车辆驾驶邻域应用现状

欧美国家对智能驾驶方向的研究起步较早，在上世纪七十年代便开始了相关研究，最早甚至可以追溯到1954年，美国标志性地研制出世界上第一台自主导航汽车，实现了智能车在特定路线上的自主行驶。而国内研究相较欧美发达国家起步更晚，但尽管在技术上相较于国外还有一段距离，也已经取得了一定的研究成果。在1992年，我国国防科技大学成功研制出了我国首辆无人驾驶汽车，该汽车无人驾驶功能的实现是在普通面包车上搭载了计算机、传感器等智能设备，使该车在可以人工驾驶的基础上，还具有自动驾驶的能力。之后，国防科技大学对该项目的研究不断深入，这款无人驾驶汽车也经历了多个版本迭代，最终2003年时完成的版本已经在总体技术性能上达到世界先进水平。据相关专家预测，无人驾驶汽车将在本世纪中叶前占据全球汽车保有量的75％.可以预见的是，整个汽车交通行业可能在未来会被智能汽车所彻底颠覆，智能化出行己经是当代人们可以企及的未来。