1．目的及意义

1．目的及意义

1.1 目的和意义

随着生产力的提高，工厂、物流分拣基地、服务行业、危险环境等场景对物品搬运自动化的需求越来越高，自动搬运机器人技术已经发展成一门新兴热门技术。与传统的搬运手段相比，自动搬运机器人效率高，工作时间长，可大大节约人力与时间成本，完成部分人工无法完成的工作。自动搬运机器人在容易发生安全事故、高温、高压、多粉尘或充满噪声等恶劣环境下更有优势。

对于自动搬运机器人，精准实时的位姿估计在对其路径规划、自主导航中起着很重要的作用。设计搬运机器人的里程计，得到搬运机器人的实时位姿，获取周围障碍物的位置，规划最优路径，并且依据路径自主移动，高效安全地到达目的地。近年来，自主导航技术已经成为一个重要的学术热，点各种优秀的方案被提出，包括使用激光雷达、采用机器视觉技术等。激光雷达测量速度快，精度高，获得的信息是系列分散的点云图，可是激光雷达不擅长在动态环境中使用，而搬运机器人则可能面临着多个对象共同工作的情况，方案成本也较高；视觉信息拥有丰富的纹理信息，比如可以识别平面图案，文字或者进行人脸的识别等，可扩展性强，缺点是视觉信息容易受到光线强弱的干扰。

在视觉里程计中，经常加入惯性传感器，将视觉传感器的信息与惯性传感器的信息相融合，可获得鲁棒性更高的里程计。视觉测量和惯性测量都可以获取机器人的位姿，其中视觉传感器测量的精度较高，可是由于计算量大，导致测量速度低；惯性传感器则测量速度快，可是高精度的惯性传感器价格昂贵，体积较大，难以量产以及小型化，而低精度的惯性传感器则精度达不到里程计的要求。两种测量方法的优缺点有互补的效果，因此将视觉传感器与低精度惯性传感器的数据进行融合，可获得较快速度以及精度较高而成本又低的里程计。

1.2 国内外的研究现状

在计算机视觉领域中，Davison等人提出了第一个实时三维单眼定位和映射框架[1]。该方法的问题在于容易受气固有的非线性影响，为了解决该问题，Huang等人提出在评估雅克比系统时使用可观测性约束扩展卡尔曼滤波器，降低了非线性的影响。为了提高系统的鲁棒性，Kelly[3],Jones[4]等人提出了将惯性传感器imu的数据与视觉相融合的方法。融合的方案主要分为松耦合和紧耦合，松耦合将视觉传感器和imu作为两个单独的模块，两个模块均可以计算得到位姿信息，然后一般通过滤波算法进行融合；紧耦合则是指将视觉和imu得到的中间数据通过一个优化滤波器进行处理，紧耦合需要把图像特征加入到特征向量中，最终得到位姿信息的过程，由于这个原因，系统状态向量最终的维度也会非常高，同时计算量也很大。本毕业设计拟采用视觉与imu信息的紧耦合方案。本毕业设计采用基于扩展卡尔曼的紧耦合方法。

{title}

2. 研究的基本内容与方案

{title}2.1 基本内容和目标
研究自动搬运机器人里程计的设计方法。通过数学方法进行视觉与imu信息的融合描述，在linux系统中编写软件，获取视觉信息以及imu信息，将视觉信息与imu信息通过紧耦合方法进行融合，达到获取搬运机器人姿态的目的。
2.2 技术方案及措施
2.2.1.特征点的选取
在图像中选取特征点作为路标，特征点的选取尤为重要。特征点由关键点和描述子两部分组成，所选取的特征点应该具有可重复性、可区别性、高效率以及本地性的特点。常见的特征点类型如下所示：
SIFT 其特点是考虑了视觉图像在变换过程中出现的亮度、比例、旋转等变化，缺点是计算量大。
SURF 采用了积分图在Hessian（黑塞矩阵）上的使用，一个是降维的特征描述子的使用，提高了检测速度。
ORB 其特点为具有方向性，检测速度快。
通过局部特征点的提取、特征点的描述、特征点的匹配可以提取出适当的地标，为稳定地进行机器人的姿态估计奠定基础。
2.2.2 imu数据的描述
imu包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态，包括偏航角yaw，俯仰角pitch，滚转角roll。
2.2.3 扩展卡尔曼滤波器
在状态方程或测量方程为非线性时，通常采用扩展卡尔曼滤波(EKF)。EKF对非线性函数的Taylor展开式进行一阶线性化截断，忽略其余高阶项，从而将非线性问题转化为线性，可以将卡尔曼线性滤波算法应用于非线性系统中。这样一来，解决了非线性问题。
2.2.4 紧耦合的融合过程

先需要从视觉信息中提取相应的特征点，并且能在多张图像中对相同的特征点进行精确匹配，舍弃无效点，接着读取imu信息，得到加速度以及角速度信息，此时将图像的特征加入到特征向量中，通过一个扩展卡尔曼滤波器进行处理，进而得到机器人的位姿信息。信息融合原理框图如图2-1所示。

3. 参考文献
[1]A. J. Davison, “Real-Time Simultaneous Localisation and Mapping with a Single Camera,” in IEEE Int.Conference on Computer Vision,2003.
[2]G. P. Huang, A. I. Mourikis, and S. I. Roumeliotis, “Analysis and improvement of the consistency of extended Kalman filter based SLAM,” in IEEE Int. Conf. on Robotics and Automation, May 2008
[3]J. Kelly and G. S. Sukhatme, “Visual-Inertial Sensor Fusion:Localization, Mapping and Sensor-to-Sensor Self-calibration,” Int. Journal of Robotics Research, vol. 30, no. 1, pp. 56–79, Nov. 2011.
[4]E. S. Jones and S. Soatto, “Visual-inertial navigation, mapping and localization: A scalable real-time causal approach,” The International Journal of Robotics Research, vol. 30, no. 4, pp. 407–430, 2011.
[5]M. Bloesch, S. Omari, M. Hutter, R. Siegwart “Robust Visual Inertial Odometry Using a Direct EKF-Based Approach” 2015
[6]J. Nikolic, J. Rehder, M. Burri, P. Gohl, S. Leutenegger, P. T. Furgale,and R. Siegwart, “A Synchronized Visual-Inertial Sensor System with FPGA Pre-Processing for Accurate Real-Time SLAM,” in IEEE Int. Conf. on Robotics and Automation, 2014.
[7] 高钟毓. 惯性导航系统技术[M]. 北京：清华大学出版社，2012
[8] 张树侠，孙 静. 捷联式惯性导航系统[M]. 北京：国防工业出版社，1992.
[9] 王康友. 室内近距高精度惯性/视觉融合定姿研究[D].南京：南京航空航天大学自动化学院，2012.
[10] 王新龙. 惯性导航基础[M]. 西安：西北工业大学出版社，2013
[11] 胡小平． 自主导航技术［M］． 北京: 国防工业出版社， 2016
[12] Hugo Blanc. Inertial and Optical Hybrid Head Tracking for Helicopter Simulators[D]. Stockholm：Royal Institute of Technology，2013
[13] 王小俊，刘旭敏，关永． 基于改进 Canny 算子的图像边缘检测算
法［J］． 计算机工程，2012
[14] 钱 山. 在轨服务航天器相对测量及姿态控制研究[D]. 长沙：国防科学技术大学航天科学与工程学院，2010
[15] 何援军． 透视和透视投影变换—论图形变换和投影的若干问题之三［J］．计算机辅助设计与图形学学报，2005