摘 要

随着科技的发展，计算机视觉技术不断更新换代，基于双目摄像头成像技术的三维重建是计算机视觉领域的一大研究热点，在许多不同的领域均有广泛应用，如工业工件测量、医学、自动导航等。随着双目立体视觉技术的不断发展，在无人驾驶智能汽车以及无人机的方面的应用将会越来越多。双目立体视觉只是三维重建技术的其中一种，实现三维重建，还可以使用深度相机、全息投影和激光扫描等。双目立体视觉与这些方法相比有成本低，安装方便，体积小，处理速度快等优势，可应用的场景更加广泛。

本文主要以双目摄像头为基础，利用双目摄像头对三维成像进行研究，根据基于双目立体视觉技术进行三维重建的方法步骤，完成了立体标定、立体校正（包括畸变校正与极线约束）、立体匹配和三维重建工作。本文主要研究工作如下：

（1）对使用双目相机进行测距的原理进行研究，根据双目测距的成像原理，介绍了与图像成像相关的三个坐标系：图像坐标系、相机坐标系和空间坐标系，对它们之间的转换关系进行推导。根据张正友标定法，打印矩形棋盘格用于相机标定，使用OpenCV和MATLAB工具箱两种方法进行标定，最终选用标定效果较好的MATLAB工具箱获得双目摄像头的标定参数。

（2）由于立体匹配要求图像行对准，而双目摄像头因为摄像头参数以及安装原因，所拍摄的图像并非行对准的，所以需要通过立体校正。对比分析了两种立体校正方法，并详细说明了校正过程，通过使用立体标定所得的相机内外参数对图像完成了畸变校正与极线约束的立体校正。

（3）实现了对立体校正图像的立体匹配，对立体匹配算法的分类以及实现步骤进行说明，将使用SGBM算法（半局部匹配算法）得到的视差图与使用BM算法（局部匹配算法）得到的视差图进行对比，比较视差图像素点稠密度与算法处理速度，使用SGBM算法计算得到视差图，结合重投影矩阵实现像素点空间坐标计算，完成三维重建。实现了通过使用两个摄像头搭建的双目立体视觉系统对锁拍摄的场景的三维成像。

关键词：双目摄像头；双目相机标定；立体匹配；三维重建

Abstract

With the development of science and technology and the continuous updating of computer vision technology, three-dimensional reconstruction based on binocular camera imaging technology is a major research hotspot in the field of computer vision, which is widely used in many different fields, such as industrial workpiece measurement, medicine, automatic navigation. With the continuous development of binocular stereo vision technology, there will be more and more applications in driverless smart cars and drones. Binocular stereo vision is just one of the three-dimensional reconstruction technologies, and to achieve three-dimensional reconstruction, you can also use a depth camera, holographic projection, and laser scanning. Compared with those methods, binocular stereo vision has the advantages of low cost, convenient installation, small size and fast processing speed, and the applicable scenes are more extensive.

This article is mainly based on the binocular camera, using the binocular camera to study the three-dimensional imaging. According to the three-dimensional reconstruction steps based on the binocular vision technology, the stereo calibration, stereo correction, stereo matching and three-dimensional reconstruction of the binocular camera are completed. The main research work of this article is as follows:

(1) Research the principle of binocular camera distance measurement. According to the imaging principle of binocular distance measurement, three coordinate systems related to image imaging are introduced and derivation: image coordinate system, camera coordinate system and space coordinate system. Based on Zhang Zhengyou's calibration method, a rectangular checkerboard grid is used to calibrate the binocular camera. OpenCV and MATLAB toolbox are used to calibrate. Finally, the MATLAB toolbox with better calibration effect is used to obtain the calibration parameters of the binocular camera.

(2) Since stereo matching requires image line alignment, and the binocular camera is not line-aligned due to camera parameters and installation reasons, it needs to be corrected by stereo. The two stereo correction methods are compared and analyzed, and the correction process is explained in detail. The distortion correction and epipolar constraint stereo correction are completed on the image by using the camera internal and external parameters obtained by stereo calibration.

(3) Realize the stereo matching of the stereo corrected image, explain the classification and implementation steps of the stereo matching algorithm, compare the semi-local stereo matching SGBM algorithm and the local stereo matching BM algorithm to obtain the density and processing speed of the disparity map, use SGBM The algorithm calculates the disparity map, combined with the re-projection matrix to achieve pixel space coordinate calculation, complete the three-dimensional reconstruction.

Keywords: binocular camera; binocular camera calibration; stereo matching; 3D reconstruction

Key Words：binocular camera; binocular camera calibration; stereo matching; 3D reconstruction

目录

摘 要 I

Abstract II

第1章 绪论 1

1.1课题研究的背景和意义 1

1.2 立体视觉国内研究现状 2

1.3 立体视觉国外研究现状 3

1.4论文主要内容 3

第2章 双目相机标定技术和图像立体校正 5

2.1双目立体视觉测距原理 5

2.1.1测距原理 5

2.1.2坐标系分类 7

2.2 双目相机标定 9

2.2.1单应性矩阵计算 9

2.2.2求解内外参数 10

2.2.3求解畸变系数 11

2.2.4双目相机的标定过程及结果 12

2.3 图像立体校正 16

2.3.1外极线约束 17

2.3.2 极线校正原理 17

2.3.3立体校正过程与结果 19

2.4本章小结 20

第3章 基于双目立体系统的立体匹配技术 22

3.1 立体匹配基本原理 22

3.1.1 立体匹配分类 22

3.1.2 立体匹配基本步骤 24

3.2 立体匹配算法应用与实验效果 26

3.2.1 SGBM算法介绍 26

3.2.2 SGBM算法在OpenCV中的实现 27

3.2.3 SGBM算法立体匹配结果 28

3.3本章小结 31

第4章 三维重建的实现 32

4.1三维重建的原理 32

4.2 三维重建总体设计 33

4.3 本章小结 35

第5章 总结与展望 36

参考文献 38

致谢 40

附件 41

第1章 绪论

1.1课题研究的背景和意义

人类对外界的感知可以通过触觉、听觉和视觉，而其中最主要的感知方式是视觉，通过视觉感知的信息量是最大的。人们身处三维世界，对世界的感知也是三维的，双眼获取的信息可以判断出物体间的距离，但一般的摄影摄像系统拍摄的图片只能记录物体的二维信息，即通过图片只能获取物体的坐标信息，而深度信息则会丢失。双目立体系统是仿照人的双眼进行构造的系统，对比图像对通过视差原理来获取物体在空间中的维信息，该方法测量速度快，所得结果精度高^[1]。

双目立体视觉技术给工业测距测量、无人驾驶及三维重建等先进领域技术的实现带来了新的方式。在机器视觉领域中，双目立体视觉测距技术是其中一个主要的研究内容^[2]。实现立体视觉测距，有3种具有代表性的测距方法：1)单个摄像头配合一个激光笔，该方法的具有简单且精确的特点，但是一次计算智能得到一个点的距离，计算速度慢；2)单个摄像头配合红外线，该方法有广泛的应用前景但实现难度较大，且成本较高^[3]；3)使用双目摄像头，该方法通过对比左右摄像头拍摄照片进行匹配，速度较快且成本较低。得到某点距离需要左右图匹配到该点。双目立体视觉系统通常由两个型号相同的摄像头组合而成，结构简单，搭建容易。