摘 要

机器人抓取是工业生产中最基本的任务，但是在复杂环境中，一个简单的抓取往往需要众多传感器的配合。在极其复杂的物流仓储领域，新型3D视觉机器人完成能胜任分拣品类丰富的商品。本文借助数字图像处理理论和机器人控制学，将3D视觉技术融合到机械臂中，实现了仓储物流领域分拣环节的定位抓取。

完整的视觉抓取系统中，深度相机类比眼睛，图像处理类比大脑，两者相互配合可引导机械臂在仓储领域完成复杂的分拣任务。为了构建完整的3D机器视觉分拣系统，本文先针对仓储环境对机器视觉系统的3D深度相机、深度成像技术以及光源和照射方式进行选择；然后对深度相机和机械臂标定，在完成求解相机内外参数工作的同时解决机械臂视觉定位问题；之后利用数字图像处理技术，对获取的图像先后经过颜色空间转换、灰度化、滤波和去噪、分割最后实现对待抓取目标的特征提取；最后在计算机读懂图像的信息后，利用路径规划技术引导机械臂在无碰撞的安全前提下精确到达目标抓取点完成抓取任务。

本文中所研究的机器视觉的搭建方案、视觉标定方法以及数字图像处理的算法等内容基本涵盖了涉及视觉机器人部分的关键性技术。

研究结果表明：3D机器视觉技术在仓储物流领域有着巨大的应用前景和空间。

关键词：3D机器视觉；仓储物流分拣；图像处理；机械臂；

Abstract

Robot grasping is the most basic task in industrial production, but in a complex environment, a simple grasping often requires the cooperation of many sensors. In the extremely complex field of logistics and warehousing, the new 3D vision robot is capable of sorting a wide range of goods. In this paper, with the help of digital image processing theory and robot control science, 3D vision technology is integrated into the mechanical arm to realize the location capture of the sorting link in the field of warehousing and logistics. 

In the complete visual capture system, the depth camera is similar to the eye, and the image processing is similar to the brain. The combination of the two can guide the robot arm to complete the complex sorting task in the storage field.In order to build a complete 3D machine vision system, this paper firstly selects 3D depth camera, depth imaging technology, light source and irradiation mode for the machine vision system based on the storage environment. Then calibrate the depth camera and the robotic arm, and solve the visual positioning problem of the robotic armwhile solving the internal and external parameters of the camera. Then, using digital image processing technology, the acquired image was successively transformed by color space, graying, filtering and denoising, and segmented, and finally the feature extraction of the captured target was realized. Finally, after the computer understands the information of the image, the path planning technology is used to guide the robot arm to reach the target acquisition point accurately and complete the acquisition task on the premise of no collision.  In this paper, the construction scheme of machine vision, the method of vision calibration and the algorithm of digital image processing are studied.

The research results show that 3D machine vision technology has a huge application prospect and space in the field of warehousing and logistics.

Key Words：3D machine vision；warehousing and logistics sorting；digital image processing；robot arm

目录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 1

1.1.1 国外研究现状 2

1.1.2 国内研究现状 2

1.3 技术原理与方案 3

1.3.1 技术原理 3

1.3.2 技术方案 4

1.4 研究内容和章节安排 4

第2章 视觉系统设计与标定 6

2.1 选择光源和照射方式 6

2.2 分拣相机标定 6

2.2.1 相机模型 7

2.2.2 相机坐标标定 9

2.3 分拣手眼标定 10

2.3.1 相机安装方式 11

2.3.2 机器臂的手眼标定 11

2.4 3D点云数据的获取 13

2.4.1 3D深度相机介绍 13

2.4.2 深度成像技术 14

2.5 本章小结 15

第3章 分拣环节的图像处理 16

3.1 图像预处理 16

3.1.1 颜色空间模型 16

3.1.2 图像灰度化和滤波 17

3.2 图像分割 19

3.2.1 Sobel算法 19

3.2.2 Canny算法 20

3.2.3 Laplace算法 21

3.3 特征提取 22

3.3.1 霍夫（Hough）变换 22

3.3.2 Surf特征提取算法 23

3.4 本章小结 26

第4章 机器视觉在仓储的典型应用 27

4.1 立体库的视觉应用 27

4.2 拆码垛中视觉应用 28

4.3 流水线自动分拣中的视觉应用 29

4.4 本章小结 29

第5章 基于机器视觉的仿真 30

5.1 基于颜色的视觉定位仿真 30

5.2 基于3D视觉的可视化仿真 31

5.3 本章小结 32

第6章 总结与展望 33

6.1 全文总结 33

6.2 展望 34

参考文献 35

附录 ABB机器人抓取代码 37

致谢 39

第1章 绪论

1.1 研究背景及意义

机械臂抓取货物在工业生产中十分的常见，但在某些相对复杂的生产工艺和较恶劣加工环境中，传统的机械臂在一个简单的抓取上都显得十分困难。伴随时代的前进，科技人才队伍的不断扩大，新兴技术壁垒得到了突破，3D机器视觉技术逐渐被应用在各行各业中。在仓储物流行业，人工为主的生产模式已经不能满足国内外快速增长的物流需求，为了提高机器人在复杂度较高的物流行业的使用率，布置具有高识别率和定位性能的3D视觉系统是大势所趋。

3D机器视觉技术是从2D机器视觉衍生出来的，是一种多学科交叉融合技术，它先利用相机捕捉图像来模拟人眼视觉功能，然后计算机技术处理的过程就模拟人类的大脑识别、分析的过程。在国内外提出的中国制造2025和工业4.0的大背景下，3D机器视觉在仓储物流领域的应用是该行业未来发展的大方向。之前，对于仓储货物的分拣方面的研究主要停留在离线PLC编程和简单2D视觉上，这就大大限制了分拣的自由度，所有的货物不仅必须有严格的放置位置和方向，而且存在货物识别品种少的短板。近些年来，3D视觉在维持较低的开发成本的基础上，实现了高精度的识别率和准确率，能够高效地完成物流分拣任务^[1]。

如今，依托着中国电子商务的庞大的业务量，大型电商平台的总部仓库内商品的SKU品类众多，在高峰期时，物流配送与处理中心的货品数量通常会暴增至正常数量的数倍，传统的机器人在面对如此众多商品总类的拣选时捉襟见肘。