1. 研究目的与意义（文献综述）

1．目的及意义（含国内外的研究现状分析）

1.1 目的和意义

随着生产力的提高，工厂、物流分拣基地、服务行业、危险环境等场景对物品搬运自动化的需求越来越高，自动搬运机器人技术已经发展成一门新兴热门技术。与传统的搬运手段相比，自动搬运机器人效率高，工作时间长，可大大节约人力与时间成本，完成部分人工无法完成的工作。自动搬运机器人在容易发生安全事故、高温、高压、多粉尘或充满噪声等恶劣环境下更有优势。

2. 研究的基本内容与方案

2.1 基本内容和目标
研究自动搬运机器人里程计的设计方法。通过数学方法进行视觉与imu信息的融合描述，在linux系统中编写软件，获取视觉信息以及imu信息，将视觉信息与imu信息通过紧耦合方法进行融合，达到获取搬运机器人姿态的目的。
2.2 技术方案及措施
2.2.1.特征点的选取
在图像中选取特征点作为路标，特征点的选取尤为重要。特征点由关键点和描述子两部分组成，所选取的特征点应该具有可重复性、可区别性、高效率以及本地性的特点。常见的特征点类型如下所示：
SIFT 其特点是考虑了视觉图像在变换过程中出现的亮度、比例、旋转等变化，缺点是计算量大。
SURF 采用了积分图在Hessian（黑塞矩阵）上的使用，一个是降维的特征描述子的使用，提高了检测速度。
ORB 其特点为具有方向性，检测速度快。
通过局部特征点的提取、特征点的描述、特征点的匹配可以提取出适当的地标，为稳定地进行机器人的姿态估计奠定基础。
2.2.2 imu数据的描述
imu包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态，包括偏航角yaw，俯仰角pitch，滚转角roll。
2.2.3 扩展卡尔曼滤波器
在状态方程或测量方程为非线性时，通常采用扩展卡尔曼滤波(EKF)。EKF对非线性函数的Taylor展开式进行一阶线性化截断，忽略其余高阶项，从而将非线性问题转化为线性，可以将卡尔曼线性滤波算法应用于非线性系统中。这样一来，解决了非线性问题。
2.2.4 紧耦合的融合过程

先需要从视觉信息中提取相应的特征点，并且能在多张图像中对相同的特征点进行精确匹配，舍弃无效点，接着读取imu信息，得到加速度以及角速度信息，此时将图像的特征加入到特征向量中，通过一个扩展卡尔曼滤波器进行处理，进而得到机器人的位姿信息。信息融合原理框图如图2-1所示。

3. 研究计划与安排

第1-2周 文献查阅，阅读期刊，著作，会议论文
第3-4周 研究视觉图像的处理
第5-6周 研究imu数据的处理
第7-8周 研究视觉和imu融合算法
第9-10周 完成基本的软件功能
第11-15周 完成论文
第16周 制作答辩ppt，做答辩准备

4. 参考文献（12篇以上）

[1]A. J. Davison, “Real-Time Simultaneous Localisation and Mapping with a Single Camera,” in IEEE Int.Conference on Computer Vision,2003.
[2]G. P. Huang, A. I. Mourikis, and S. I. Roumeliotis, “Analysis and improvement of the consistency of extended Kalman filter based SLAM,” in IEEE Int. Conf. on Robotics and Automation, May 2008
[3]J. Kelly and G. S. Sukhatme, “Visual-Inertial Sensor Fusion:Localization, Mapping and Sensor-to-Sensor Self-calibration,” Int. Journal of Robotics Research, vol. 30, no. 1, pp. 56–79, Nov. 2011.
[4]E. S. Jones and S. Soatto, “Visual-inertial navigation, mapping and localization: A scalable real-time causal approach,” The International Journal of Robotics Research, vol. 30, no. 4, pp. 407–430, 2011.
[5]M. Bloesch, S. Omari, M. Hutter, R. Siegwart “Robust Visual Inertial Odometry Using a Direct EKF-Based Approach” 2015
[6]J. Nikolic, J. Rehder, M. Burri, P. Gohl, S. Leutenegger, P. T. Furgale,and R. Siegwart, “A Synchronized Visual-Inertial Sensor System with FPGA Pre-Processing for Accurate Real-Time SLAM,” in IEEE Int. Conf. on Robotics and Automation, 2014.
[7] 高钟毓. 惯性导航系统技术[M]. 北京：清华大学出版社，2012
[8] 张树侠，孙 静. 捷联式惯性导航系统[M]. 北京：国防工业出版社，1992.
[9] 王康友. 室内近距高精度惯性/视觉融合定姿研究[D].南京：南京航空航天大学自动化学院，2012.
[10] 王新龙. 惯性导航基础[M]. 西安：西北工业大学出版社，2013
[11] 胡小平． 自主导航技术［M］． 北京: 国防工业出版社， 2016
[12] Hugo Blanc. Inertial and Optical Hybrid Head Tracking for Helicopter Simulators[D]. Stockholm：Royal Institute of Technology，2013
[13] 王小俊，刘旭敏，关永． 基于改进 Canny 算子的图像边缘检测算
法［J］． 计算机工程，2012
[14] 钱 山. 在轨服务航天器相对测量及姿态控制研究[D]. 长沙：国防科学技术大学航天科学与工程学院，2010
[15] 何援军． 透视和透视投影变换—论图形变换和投影的若干问题之三［J］．计算机辅助设计与图形学学报，2005