摘 要

近年来，随着车企与初创人工智能企业的合作逐渐变得紧密，自动驾驶成为计算机视觉与传统机械工程领域的研究热点，传统车企大厂如奥迪、宝马、福特，新兴互联网公司如谷歌、优步、百度等都在自动驾驶领域招兵买马、攻城掠地。目标跟踪系统属于自动驾驶开发流程中环境感知层算法的一部分，其主要任务是在无人驾驶车辆行驶过程中对周围环境进行实时监测，配合其他系统共同完成视野范围内感兴趣目标的运动状态估计，为决策规划层提供感知信息。

本文的主要内容是在自动驾驶场景下的多目标跟踪系统数据关联问题研究。首先，绪论部分从传统目标跟踪方法出发，介绍主流的目标跟踪模型及开发过程中的研究热点，并针对自动驾驶场景条件下的多目标跟踪主要难点进行剖析。其次，本文采用检测融合跟踪框架进行算法开发，并简要列举目标特征提取方法和数据关联匹配模型等多目标跟踪主要技术，出于无人驾驶车辆硬件计算资源成本和内存空间限制的考虑，本文算法直接采用颜色直方图作为外观相似度量测。最后，详细推导本文使用的基于网络流的全局数据关联模型与模型求解思路。

　　为了验证算法有效性，本文采用自动驾驶专用的计算机视觉数据集KITTI以及主流的多目标跟踪性能指标进行算法实验分析。第4章从这些性能指标的数学定义及计算方法出发，介绍测试数据的文件形式，最后根据实际实验结果分别针对算法的准确性和鲁棒性进行讨论和总结，实验结果显示算法在该数据集上的MOTA（MOT准确率）为0.85，MOTP（MOT召回率）为0.81。

　　本文的创新点在于改进现有的连续最短路算法，在线处理时变的目标数量并降低算法计算复杂度，使多目标跟踪系统能够在数字芯片性能受限的自动驾驶场景下，平衡目标运动轨迹预测的准确性与算法执行速度之间的矛盾，保证系统跟踪性能满足自动驾驶环境感知需求。

关键词：多目标跟踪；数据关联；网络流；自动驾驶

Abstract

In the past few years, along with the cooperation between car prices and start-up artificial intelligence enterprise being more and more closer, autopilot has become the research hotspot in the computer vision and the traditional mechanical engineering fields. Traditional car prices such as Audi, BWM, Ford and emerging internet companies such as Google, Uber, Baidu and etc. have been recruiting manpower and siege in the autopilot field. Object tracking system belongs to the environmental-perception-layer of development process of autopilot system, whose main task is to complete real-time monitoring of the surrounding environment during the driving, and manage to estimate movement status of those interesting objects, providing informations for decision planning layer.

The main contents of this paper is the data association problem of multi object tracking system under monocular vision conditions. First, from the traditional target tracking method, we introduced state-of-the-art methods and research hotspot at present, then we provide a detailed description about the difficulties of multi object tracking. Second, the algorithm this paper proposed has adopted the tracking-by-detection frame, and briefly introduce key aspects like the feature descriptor and the data association model etc, we use RGB histogram as our similarity measurements out of concern for calculate resource costs and limitation of memory space. Finally, we deduced the global data association method using network flow.

In order to validate the effectiveness of our algorithm, we run experimental tests in KITTI dataset and calculate state-of-the-art benchmark. Chapter 4 give the defination of these benchmark and the format of data files, then we use test functions to produce video results and present analysis. The MOTP is 0.81, MOTA is 0.85.

The innovation of this paper is to improve remain method, make it feasible for online process and lower the calculation complex. The Algorithm can now be distributed on auto-driving circumstances where the capability is limited due to the balance achieved between the contradiction of tracking accuracy and run-time speed, and ensure the needs of automatic driving environment sensing.

Key Words：multi object tracking；data association；network flow；automatic driving

目　录

第1章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 2

1.2.1 基于生成式模型跟踪 4

1.2.2 基于判别式模型跟踪 6

1.2.3 多目标跟踪主要难点 8

1.3 本文研究内容 11

1.4 本文结构安排 12

第2章 多目标跟踪关键技术 13

2.1 检测跟踪框架 13

2.1.1 目标检测模块 13

2.1.2 目标跟踪模块 15

2.2 目标特征提取 16

2.3 数据关联匹配 18

2.4 本章小结 21

第3章 基于网络流的全局数据关联方法 22

3.1 最大后验概率模型 22

3.1.1 图的网络流结构 22

3.1.2 最小费用流问题 23

3.2 显式遮挡处理模型 27

3.3 内存约束求解 28

3.4 本章小结 31

第4章 多目标跟踪实验分析 32

4.1 实验性能指标 32

4.2 实验方案介绍 38

4.2.1 测试数据格式 38

4.2.2 计算平台配置 41

4.3 实验结果分析 42

4.4 本章小结 44

第5章 总结与展望 45

5.1 全文工作总结 45

5.2 研究工作展望 46

致谢 47

参考文献 48

附录 51

第1章 绪论

1.1 研究背景与意义

多目标跟踪（Multi Object Tracking）作为计算机视觉领域的中级任务，也是某些高级任务的基础，例如姿态估计、行为分析等。而这些高级任务又在具体的场景中有着广泛的应用：视觉监控、人机交互、虚拟现实等。正是这些实际的需求激发了研究者们对该课题的巨大兴趣。通常将多目标跟踪的主要任务分解成三个部分：即在一段连续输入的视频序列中，（1）确定多个感兴趣的目标在每一帧图像中的位置；（2）在指定的一段连续图像帧中维持各个目标的标签不变并记录这些目标在每一帧中的位置信息和运动状态；（3）将观测与假设进行数据关联匹配从而形成目标的全局运动轨迹。其中，被跟踪的目标可以是街上的行人、路上的交通工具、球场上的运动员、一群动物（鸟、蝙蝠、蚂蚁、鱼、甚至细胞等），同时也可以将一个目标的不同部位看作是多个目标^[1]。

1. Udacity的自动驾驶样车

近年来，随着人工智能技术的迅猛发展，传统汽车行业与信息技术的结合使得人们在汽车自动驾驶技术方面的研究取得了长足的进步，图1.1是Udacity向媒体展示的一部自动驾驶样车。在自动驾驶车辆开发流程中，多目标跟踪系统作为环境感知层的一个重要模块，需要在车辆正常行驶状态下对车辆周围的环境状况进行实时监测，迅速识别出感兴趣的运动目标，正确预测它们的运动速度和方向，以便车辆的决策规划层能够在复杂多变的驾驶场景下根据这些信息合理规划车辆的行驶路线与运动状态，然后通过运动控制层中的汽车电子线控系统操纵转向系、制动系、行驶系等做出正确的反应，最终实现安全可靠的无人驾驶。

与传统的单目标跟踪系统不同，在开发多目标跟踪系统的过程中，研究者们遇到的主要困难包括两点：（1）由于存在多个感兴趣目标，算法往往无法在输入第一帧图像时就完全确定视频序列的感兴趣目标数量，一部分目标会在视频流的中间时期进入视觉范围，因此，理想的多目标跟踪算法需要解决在这种情况下，如何确定时变的感兴趣目标数量并对这些目标的运动轨迹进行动态初始化和终止的问题；（2）在基于单目视觉的多目标跟踪过程中，由于单位视觉面积范围内的目标数量增多，目标与目标、环境与目标之间发生的相互遮挡次数增加而加剧二维图像数据的部分缺失，从而导致检测失败、跟踪漂移等错误，因此，理想的多目标跟踪系统应针对遮挡问题进行特殊处理，保证算法在恶劣场景下具有较高的鲁棒性，才能确保无人驾驶车辆环境感知层整体性能的稳定性。图1.2是环境感知层的目标检测模块输出目标约束框信息的示意图。

1. 自动驾驶车辆环境感知层算法输出结果

本论文的研究内容是在单目视觉条件下，分析多目标跟踪算法当前的关键问题以及未来的发展趋势，并针对多目标跟踪任务中的数据关联问题改进现有算法，从而实现鲁棒性好、准确性高的多目标跟踪方法。