摘 要

随着计算机硬件的发展和具有相机的移动终端增多，视觉SLAM越来越受到重视，而ToF相机也逐渐成为高端智能手机的标配，使得可以获得深度图的设备更为常见，因此基于RGB-D（彩色图和深度图）的视觉SLAM也成为现实。本次毕业设计对基于视觉SLAM的增强现实注册方法进行研究，并进行设计与仿真。增强现实注册指将数字信息投影到真实环境中，并融为一体，其关键在于对于AR设备的定位跟踪。

在研究视觉SLAM相关算法以及增强现实（AR）基本原理与应用的基础上，对基于视觉SLAM的AR系统进行设计与仿真。本次毕业设计采用TUM数据集，首先读取RGB-D图像序列；然后根据相机内外参对图像进行预处理，形成帧数据与点云图，将帧数据传入跟踪模块，进行位姿估计和跟踪并生成关键帧；再将关键帧传入局域建图模块，创建地图点并进行稀疏建图，同时加入八叉树地图进行稠密建图，在地图显示模块中根据点云图更新八叉树地图；最后利用SLAM方法进行后端优化和环路检测。

实验结果表明，本文实现的基于视觉SLAM的增强现实注册方法，保证了跟踪的实时性与准确性，同时由于八叉树地图的加入，使得地图信息能被AR更好地运用，多种AR应用都可以基于本系统进行实现。

关键词：SLAM；增强现实；RGB-D

Abstract

With the development of computer hardware and the increase of mobile terminals with cameras, visual SLAM has become more and more important. And ToF cameras have gradually become the standard for high-end smartphones, making devices that can obtain depth images more common, so the visual SLAM based on RGB-D (color image and depth image) has also become a reality. This graduation project studies the augmented reality registration method based on visual SLAM, and designs and applies it. Augmented reality registration refers to projecting digital information into a real environment and integrating it. The key is to locate and track the AR device.

After the research of visual SLAM related algorithms and the basic principles and applications of augmented reality (AR), the design and implementation of AR system based on visual SLAM is carried out. This graduation design adopts the TUM dataset, first reads the RGB-D image sequence; then preprocesses the image according to the camera’s interal and external parameters to form the frame data and the point cloud, and pass the frame data to the tracking module for pose estimation and tracking. And generate keyframes; then pass the keyframes into the local mapping module, create map points and perform sparse mapping, add octree map for dense mapping, and update the octree map according to the point cloud map in the map display module. Finally, the SLAM method is used for back-end optimization and loop detection.

The experiment results show that the visual SLAM-based augmented reality registration method is guaranteed to ensure the real-time and accuracy of tracking. At the same time, the map information can be better used by AR due to the addition of octree map, and various AR application can be implemented based on this system.

Key Words: SLAM; augmented reality; RGB-D

目 录

第1章 绪论 1

1.1 课题研究的背景与意义 1

1.2 视觉SLAM与增强现实（AR）的国内外研究现状 2

1.2.1 直接SLAM方法研究现状 2

1.2.2 特征SLAM方法研究现状 3

1.2.3 AR研究现状 4

1.2.4 基于SLAM的AR研究现状 4

1.3 视觉SLAM与AR的难点 5

1.4 本文的研究工作与组织结构 5

1.4.1 本文的研究工作 5

1.4.2 本文的组织结构 6

第2章 SLAM原理介绍 7

2.1 SLAM原理介绍 7

2.1.1 传感器数据读取 7

2.1.2 视觉里程计 8

2.1.3 后端优化 8

2.1.4 回环检测 9

2.1.5 建图 10

2.2 本章小结 10

第3章 基于SLAM的AR注册方法研究 11

3.1 相机标定 11

3.1.1 小孔成像模型 11

3.1.2 相机内参 12

3.1.3 相机外参 14

3.1.4 使用内外参 15

3.2 特征点的提取和匹配 15

3.2.1 ORB特征 15

3.2.2 ORB特征提取 15

3.2.3 特征匹配 16

3.3 八叉树地图稠密建图 17

3.4 本章小结 19

第4章 SLAM实现 20

4.1 系统框架设计 20

4.2 主要模块实现 21

4.2.1 跟踪与定位模块 21

4.2.2 局部建图模块 23

4.2.3 建图模块 23

4.3 基于SLAM的增强现实实现 24

4.3.1 AR应用的设计 24

4.3.2 平面检测方法 25

4.3.3 AR应用实现 25

4.4 本章小结 26

第5章 全文总结与展望 27

5.1 全文总结 27

5.2 对基于SLAM的增强现实的展望 27

参考文献 29

致 谢 31

第1章 绪论

1.1 课题研究的背景与意义

增强现实注册指将数字信息投影到真实环境中，并融为一体，其关键在于对于AR设备的定位跟踪。

SLAM——simultaneous localization and mapping，即时定位与建图。在导航、自动建图，以及虚拟现实和增强现实的测距中，即时定位与建图是在未知环境中构建或更新一个地图并且同时在这个地图中跟踪该行为主体的位置与姿势的计算性问题。尽管在最初这个问题是一个 “鸡与蛋” 的因果困境，但仍有一些算法在一定条件下（在可控时间内的特定场景下）可以解决这一问题。其中较为知名的有粒子滤波器、扩展卡尔曼滤波器（非线性卡尔曼滤波器）、斜方差交叉以及图形SLAM^[1]。

R.C. Smith和P. Cheeseman在1986年对于空间不确定性的估计和表示的研究对于SLAM有着开拓性的意义^[2]。上世纪90年代早期的SLAM领域其他先驱工作由Hugh F.和Durrant-Whyte的研究小组所领导，其结果展示了在无限的数据限制下存在SLAM的解决方案。这一发现激励了对于算法的研究，这些算法具有计算可行性和近似解^[3]。

由Sebastian Thrun所领导的具有SLAM系统的自动驾驶载具STANLEY和JUNIOR，在2000年间赢得了DARPA大挑战赛并在DARPA城市挑战赛^[4]。这一成功使得SLAM获得了世界范围的关注。现已发表的方法常运用于自动驾驶汽车、无人航空器、自主水下载具、太空探测车、新型家用机器人，甚至是适用于人体内的医疗机器人。面向大众市场的SLAM应用方案现已被应用在家用扫地机器人中。Google及其他公司的自动驾驶汽车在美国一些州现已获得在公共道路上行驶的牌照^[5]。

SLAM应用场景广阔，并且随着计算机硬件的发展，相关技术也会进步。在SLAM领域，现在广泛运用的为激光雷达SLAM，其优点是可靠性高技术成熟、建图直观、精度高且不存在累计误差、并且其生成地图可以运用于路径规划，缺点是相关设备造价昂贵、雷达探测范围有限、对于安装要求较高难以广泛应用、并且其梯度缺乏语义信息；而对于视觉SLAM的研究则随着智能手机兴起，具有摄像头的移动终端增多而获得重视。视觉SLAM的优点是相关传感器造价较低、功耗低且结果简单、安装要求低、并且没有距离限制、可提取语义信息，缺点是精度较低、受环境和光线影响大、对计算性能要求高、直接构建的地图难以运用于路径规划且存在累计误差。激光雷达SLAM技术较为成熟而视觉SLAM有更多拓展性和应用场景，两者都是未来发展趋势，但后者更易运用于消费者市场。

增强现实——Augmented Reality，简称AR，是一种在现实环境中通过计算机生成的感知信息对现实世界的事物进行增强的交互体验，通常有多种不同感知形式，包括视觉、触觉、听觉、体感和嗅觉等^[6]。覆盖现实的感知信息可以是建设性的（依赖于自然环境），或者是破坏性的（遮盖自然环境）^[7]。这一体验与物理世界无缝融合，沉浸式的被感知于真实环境之中。通过这种方式，增强现实可以改变使用者对真实世界环境的持续感知，相较而言，虚拟现实则是将使用者所处的真实世界环境完全替换成一个模拟而成的环境^[8]。

SLAM可以作为AR的基础，因为SLAM可以实时地感知未知环境中的信息，而AR发挥作用的前提就是实时地得到当前环境的有效信息，微软将二者相结合，推出了适用于娱乐、生产、教育和研究领域的HoloLens^[9]。现有AR多数基于标志物的跟踪注册方法，在实际应用时需要提前将人工标志置于环境中。这一点对于AR有诸多限制，如，在不断探索新场景的AR应用中，无法无限制的投放标志物；在广阔的场景中，需要较多较大的标志物。而SLAM能够解决在未知环境中定位的问题，可以扩大AR的应用场景。

1.2 视觉SLAM与增强现实（AR）的国内外研究现状

主流视觉SLAM方法根据图像信息的使用方法可分为两类，直接SLAM方法和特征SLAM方法。以下就这个分类方法分别对国内外的视觉SLAM的研究现状进行介绍。

1.2.1 直接SLAM方法研究现状

直接SLAM方法指根据像素点的强度进行操作，可以对整个图像的信息加以利用。这一方法无需提取特征点，对比特征SLAM在特征较少的环境具有更高的准确性和稳定性。

文献^[10]在相机定位中使用了稠密图像对准，同时可以构建出稠密3D地图。文献^[11]在相机位姿计算中使用了稠密图配准方法，并构建了半稠密转置深度地图。文献^[12]中为了有效的降低位姿估计的不确定性，对每个像素的深度进行了概率测量。文献^[13]提出了一种单目视觉里程计方法，相较于直接法从整幅图片中进行匹配，该方法先从整幅图片中提取出图像块在进行匹配，从而得出相机的位姿，可以算是半直接方法。文献^[14]提出了LSD-SLAM（large-scale direct SLAM）算法，可以构建稠密的3D地图。相较之前的几种方法，该方法可以运用于更大的场景，同时也能保证相机位姿估计的准确性。文献^[15]提出了Kinect融合方法，Kinect是微软推出的可以获取深度信息和彩色图像的传感器，能过几乎同时获取图像信息和深度信息，可以简化3D重建过程，价格便宜，多用于体感游戏，也用于研究，通过获取的深度图像，该方法对每一帧中的所有像素进行最小距离测量，经计算后得到相机位姿，融合所有深度图成为全局深度地图。文献^[16]构造了误差函数，使用最小化误差方法来计算相机位姿，其输入参数为像素光度信息和几何信息，并通过位姿图构建地图。文献^[17]使用了RGB-D图像作为输入信息，也采用误差函数，使用最小代价方法计算最优相机位姿，函数参数为像素的强度误差和深度误差。其关键帧提取和闭环检测方法是基于熵计算的，使得路径误差有所降低。

1.2.2 特征SLAM方法研究现状

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：