摘 要

客流信息采集是视频监控应用的关键组成部分之一。然而，由于遮挡、光照、颜色和纹理等的变化，客流信息采集的问题还远未解决。通过传统的二维图像处理对客流信息采集误差较大，因此本文从三维视觉出发，构建了一个使用垂直kinect传感器进行客流信息采集的新系统，其中的深度信息可以用于消除外部变化例如光照等的影响。在本文中，我们设计了一个基于三维视觉的客流信息智能采集算法：先用kinect从上往下拍摄客流信息图像序列，再对每一帧图像进行操作，其中的操作包括预处理，用区域生长法加类圆形检测算法判断正确的头部目标坐标，根据坐标使用自适应的波门跟踪算法对目标进行跟踪，并在其中加入了优先控制策略以及用采集算法对客流信息进行采集统计，处理完所有帧的数据后，再对采集到的客流信息进行汇总，以此完成了客流信息的采集。

关键词：客流信息；智能采集算法；kinect；三维视觉

Abstract

Passenger flow information collection is one of the key components of video surveillance applications. However, due to changes in occlusion, illumination, color, and texture, the problem of passenger flow information collection is far from solved. The traditional two-dimensional image processing has a large error in the acquisition of passenger flow information. Therefore, from the perspective of three-dimensional vision, a new system for collecting passenger flow information using vertical kinect sensors is constructed. The depth information can be used to eliminate external changes such as illumination. Impact. In this paper, we design an intelligent acquisition algorithm for passenger flow information based on 3D vision: firstly use kinect to shoot the sequence of passenger flow information images from top to bottom, and then operate on each frame of images, including preprocessing and area growth. The Faga type circle detection algorithm judges the correct head target coordinates, uses the adaptive wave gate tracking algorithm to track the target according to the coordinates, and adds the priority control strategy and collects statistics on the passenger flow information by using the acquisition algorithm. After the data of all the frames is completed, the collected passenger flow information is summarized, thereby completing the collection of the passenger flow information.

Keywords: Passenger flow information; Intelligent acquisition algorithm; Kinect; Three-dimensional vision

目录

第1章 绪论 1

1.1 背景与意义 1

1.2 客流信息采集技术的现状及趋势 1

1.2.1 人工调查与传感技术采集 2

1.2.2 IC卡信息采集法 2

1.2.3 传统的图像技术采集 2

1.3 三维视觉现状 2

1.4 本论文的主要工作 3

第2章 基于深度图像的头部识别 4

2.1 深度图像与kinect2.0相机 4

2.1.1 深度图像 4

2.1.2 kinect2.0相机 5

2.2 深度图像预处理 6

2.2.1 深度信息图的滤波处理 6

2.2.2 重置物体边缘像素点 8

2.3 基于区域生长法的目标识别与分割 9

2.3.1 区域生长算法 9

2.3.2 区域生长算法识别目标 10

2.4 基于类圆形检测的结果优化 10

2.4.1 类圆形检测算法 10

2.4.2 类圆形检测实验 11

第3章 目标跟踪与客流信息采集 13

3.1 基于现有目标跟踪算法的分析 13

3.2 目标跟踪 14

3.2.1 自适应波门跟踪算法 14

3.2.2 优先控制策略 15

3.3客流信息采集 17

3.3.1 信息采集算法 17

3.3.2 整体的客流信息智能采集算法 19

3.3.3 基于多目标的客流信息智能采集算法实验 20

第4章 总结与展望 22

4.1 总结 22

4.2 今后工作的展望 22

参考文献 23

致谢 24

第1章 绪论

1.1 背景与意义

随着当今各行各业的快速发展，客流信息变得尤为重要，成为了许多研究发展的重要信息。而科技发展也使得客流信息的采集愈发多样高效，快速准确地采集客流信息已经成为可能。传统的客流采集算法是将三维的物体投影为二维图像，在二维图像上获取客流特征，进行图像处理。但在面对日益发达的科学技术，二维图像处理的应用严重受限，它在很多图像处理方面的精度、速度都提升缓慢。而随着三维的快速发展，三维图像处理技术层出不穷。与传统的二维图像处理技术比较可发现，它不旦精度高、速度快，而且时效性等也更强，许多信息的采集也更加具体。深度信息的出现推动了三维视觉传感技术的发展，而三维视觉技术相比二维更加符合客流信息采集的要求^[1]。

当今世界发展迅速，客流信息成为许多行业的首要信息^[2]。例如在商场、大型场馆等地方，客流信息是他们进行当前工作展开以及进行下一步工作的重要依据来源。虽然现在相关客流信息采集的算法许多，但是都有或多或少的问题，不过正因为相关算法许多，所以寻找更加智能与准确地方案便成为可能。对客流信息采集算法进行进一步研究有利于其他行业的发展。客流信息可以为其他行业的管理者提供制造更可靠的管理机制的可能，以及可以根据客流信息进行资源的分配，提高资源的利用率。

1.2 客流信息采集技术的现状及趋势

自动采集客流信息的传统手段为红外遮挡、压力传感等。虽然他们实现简单、成本低廉，但是客流采集的精确度并不高，并且采集的信息有限。当遇到客流高峰期，路况拥挤，采集精确度更是大打折扣、除此之外，传统信息采集手段的应用场所也受到很大的限制。

之后图像处理应运而生，相对于传统手段，图像中能包含更加丰富与大量的信息。它的出现与不断的发展解决了许多传统的客流信息采集方法面临的各种各样的问题。目前，在客流信息采集领域已经出现了许多关于图像处理方法的研究。但是这些方法大多只利用二维图像中的特征识别和模式匹配来选择人体的一个或多个部位及其组合作为特征，并尝试在现场图像中获得匹配，从而在现场获取客流信息。这在拥挤的情况下也面临着严重的问题。比如在复杂背景下，用差分图像投影的方法无法正确识别并排行驶的人们。

二维信息的受限主要在背景光线变化导致的提取困难、客流高峰拥挤导致的区分困难等问题。其中最大的问题就是当客流过于拥挤时，识别困难。但用三维视觉技术就能很好的解决掉识别困难的问题。除此之外，三维图像的深度信息还能够很好的消除光照等变化引起的问题。

1.2.1 人工调查与传感技术采集

人工调查是客流信息采集的最传统的方法，由于设备、科技水平受限，因此雇佣大量人力通过口头询问记录、问卷等方式对客流信息进行采集记录。得到的信息漏缺、不准确等状况严重。

传感技术采集的方法也是很传统的方法，主要有压力传感、红外传感等。比如在公交车门处或者是商场大门处安装红外传感装置，当有人经过时，红外传播与无人经过时所需要的时间有区别，这个时候就判定为有一个人经过。但这种也很不准确，当有多个人同时通过时，它只会识别为一人。除此之外，如果是动物通过，也会误判为人。

1.2.2 IC卡信息采集法

自从IC卡问世以来，就受到许多商业、工业部门的青睐。IC卡即将信息录用在一张卡上，例如公交卡、门禁卡，这类卡上包含着自己的信息，比如余额、身份等。IC卡可以用在公交上，不仅可以方便人们付款，还对统计客流有一定帮助。如果用它来调查客流数据，可以节约大笔费用。这种方法通常被用在公交客流的统计中，它解决了公交客流调查巨大工作量的问题，并且解决了即使工作量巨大却也无法准时获取客流信息的问题，IC卡可以动态实时地统计客流信息，并在此基础上进行统计与分析^[3]。同时，IC卡也可以用在小区，只有刷卡才能进入小区，使得小区可以统计一天的人流量数目。如果IC卡上包含的信息更加丰富一点，还可以具体到一个特定目标。这种方法数据量大、数据质量高，成为了很多国内外研究学者的研究重点。

1.2.3 传统的图像技术采集

传统的二维图像技术采集主要是以视频或图像为基础，通过软件和算法等对图像序列进行目标识别、目标跟踪等获取目标的运动方向和运动轨迹，以此来达到采集客流信息的目的^[4]。传统的二维图像采集客流信息的方式发展也十分迅速，各种各样的方法在当今其实准确度也十分高，其中大多数思路与本文的三维图像处理思路基本一致，但是不同的是，我们能够从三维中获取更多的图像信息，以此来寻找到一种更加简单高效的处理方式，本文所做就是如此。基于三维的信息采集有着更广阔的的发展空间。

1.3 三维视觉现状

三维立体视觉就是计算机视觉，即用摄像机等物品来代替人眼获取立体图像，又用计算机代替我们的头脑来处理这些立体图像。让计算机能够实现人类对三维世界的解释和处理，并且能够随着环境变化自己学会适应就是计算机视觉的研究目标。想要获取一个三维图像，可以通常是用两幅图对同一个地方进行拍摄，或者用两个对同一个地方进行的图像录像，通过三维重建即可获取到三维空间点，通过软件可将三维图形表现出来。

计算机三维视觉技术在工业产品外观设计、模具面形测试、机器人视觉、艺术雕塑等领域都有广泛的应用前景。

其中三维视觉 SLAM 技术作为一种高新科技正逐步应用到各个领域之中。三维相机通过获取的二维彩色图、深度数据图可以融合成三维点云图。运用相机的内参和外参，可以计算出任何像素在相机坐标系下的位置。同时，根据相机外参，又能计算这些像素在世界坐标下的位置。最后通过这种关系转换就能得到真实世界的平移距离和旋转角度，有利于机器人的研究。 如果我们创建了一个较好的三维地图，机器人就可以根据这个地图自主避让。

总结三维视觉在各个不同领域的应用，找出它对客流信息采集有用的部分。在本文用三维视觉传感技术对客流信息进行处理。

1.4 本论文的主要工作

本文用kinect摄像机采集三维数据，获取客流深度信息，在此基础上，用图像处理技术与方法对采集到的深度信息灰度图进行处理，进行图像预处理、目标识别、目标跟踪与客流信息采集。并根据深度信息灰度图编写算法，以此来达到通过三维视觉进行客流信息采集的作用。

本论文的主要工作在设计算法和对算法的正确性进行验证，其中包括了区域生长法、类圆形检测算法、自适应波门跟踪算法、优先控制策略算法以及信息采集算法等小算法，将其每一个算法联系相互调用以及对kinect拍摄到的图像序列进行实验验证就完成了本文的客流信息智能采集算法的研究与设计。

第2章 基于深度图像的头部识别

2.1 深度图像与kinect2.0相机

2.1.1 深度图像

深度图像是一种图像模式，他具体是指图像中所包含的信息除了图像表面外，还包含着与距离相关的一个图像通道。距离摄像机的距离决定了一个物体在深度图像中的灰度值，当用在客流信息采集中，因为各个不同的目标物体与摄像机的距离各不相同，所以自然地他们各自的深度信息也不相同。仅根据深度信息确定像素的灰度值减少了坏境对客流信息采集带来的不利影响。

为了获取深度图像，通常采用两种方法。一：被动测距传感测量深度信息。二。主动深度传感获取深度信息。

在被动方式中，双目相机拍摄深度信息是我们所熟知又常见的。双目相机拍摄要先给两个摄像机设定好一定距离，再对同一个场景进行同时拍摄，根据数学方法匹配过后得到该场景物体的深度信息。这类方法只能得到大致的三维信息，精确度并不高。这类方法中，两个摄像机的位置不要随意移动，移动过后需要重新标定。

在主动方式中，需要相机自己发射能量来完成深度信息的采集，这点也是它区别于被动式的明显特点^[5]。正因为需要自己发射能量，所以彩色图像与深度图像的获取是分开独立的。主动传感主要包括TOF、结构光、激光扫描等。

TOF相机通过采集对目标场景发射近红外脉冲和用传感器接收返回的光脉冲的时间加上数学运算来推算距离，以此来得到深度图像。不过这类相机的问题在于在个别像素点，它们对应的深度值不只是一个物体的深度信息，通俗的说就是在物体边缘的那些像素点不止一个距离数，所以会导致灰度值为零的情况出现，从而出现偏差。

用特定模式的结构光采集深度信息的具体过程是，先把结构光投射到场景中，再用相关设备对它进行捕获，在捕获的时候，对应不同的物体形状，结构光的模式也会发生变化而变得不同，因此捕获到各种不同的结构光时就可以通过数学原理判定深度信息。这种结构光的技术在很多领域比如游戏、医疗方面都得到了相应的应用。

深度图像中的灰度信息与物体到摄像机的距离相关。距离越大，其对应像素点的灰度值也越大，反之则反。在深度图像中，像素点的灰度值与其与摄像机的距离的关系如式（2.1）所示。

（2.1）

其中表示灰度值和距离对应的相关系数。

2.1.2 kinect2.0相机

Kinect2.0是Microsoft公司xbox one游戏主机的配套体感外设。相比于上一代，2.0的相机在对手势的识别，骨节信息和面部表情的采集都有了很大的进步。因为是靠红外传感器获取深度信息，因此就算光线不好甚至全黑，深度信息也能被采集到，这方便了许多游戏玩家。

Kinect的彩色图像获取与深度信息获取是分开的，彩色图像由最左边的rgb摄像头获取，深度信息由中间的红外线发射和接收机共同获取。因此如果想要获得三维的彩色图像需要进行彩色图和深度图对齐。Kinect相机如图2.1所示。

Kinect采用的是光编码技术，光编码技术与结构光技术类似，但又有所不同，它发射的并不是二维图案而是立体编码^[6]。

不过即使kinect的技术得到了提升，但是它还是在深度信息的获取上面存在些许问题，这些有问题的区域在深度图上表现为灰度值为零，因此在之后对图像处理的时候需要把深度值为零的像素点进行额外处理。深度信息缺失的原因有很多种，其中很重要的一点是，一个被目标遮挡住的区域可以被红外coms摄像机捕捉到但是红外线发射器发射出去的散斑图案却并不能发射到该区域，因此摄像机无法捕捉到图案，就无法获取深度信息。除此之外，物体表面的平滑程度、物体的材质等都会影响到深度信息的获取。

图2.1 kinect2.0

Kinect的RGB摄像机可以用来获取彩色图像。

Kinect2.0相机最常被用在玩xbox one主机上的体感游戏，如图2.2所示。

图2.2 体感控制游戏

除此之外，它还经常用来进行开发研究。通常应用在以下几个方面：

一：目标检测与识别。正如前文所介绍的，大多数传统的图像处理方法都有一个天敌，光照。但在深度图像中，光照条件的变化并不会引起深度信息的变化，因此深度图像可以克服传统方法中的光照问题。因此在深度图像的基础上研究的算法的鲁棒性相对来说更强。所以Kinect也通常被应用在目标检测与识别领域^[7]。除了人脸识别等对人的识别外，对动物的识别也可以实现^[8]。

二：人体动作分析。当人在运动时，kinect可以通过红外传感器获取关节坐标数据，因此对动作的分析就会变得十分简单。

三：手势分析。定位手部、分类手势等都是kinect可以做到的。且因为深度图像不受光照、肤色等的影响，因此在各种不同的环境中，手势分析也依然能够高效地进行。

四：三维重建。三维重建的方式有很多种，可以基于单目相机，可以基于双目相机，也可以直接用智能手机动态拍摄获取^[9]。三维重建的重点是获取点云数据，不同于其他点云数据获取方法的复杂，kinect可以很轻松的获取到点云数据^[10]。并且得到的数据还十分精确，对后续的三维重建有很大的帮助。

2.2 深度图像预处理

我们知道普通的方法里，常用来特征提取的方法就是阈值法。但在本文的三维图像中，对深度值用阈值法实现目标提取，虽然这在写算法时简单且计算机为此的计算量小，但是误差过大。我们会因此无法识别出与我们同样高度的障碍物，为此，我们需要增加其他的条件在算法里。本文提出了经过预处理之后，以区域生长法为基础的目标识别方法。

2.2.1 深度信息图的滤波处理

虽然随着相机的发展与更新，比起过去，现在的图像在清晰度、对比度等各个方面都有了很多的进步，能够清晰的拍摄到我们想要的目标与效果。但外界不可控因素还是存在，例如过强的光照。图像增强以及滤波等技术的应用能够使得我们所需要的图像在被用来研究以及观察时表现的更好，因此，它们显得十分的重要。在本文的实验中，我们要对我们拍摄下来的图像先进行图像增强与滤波等预处理，突出我们想要的特征，方便我们接下来的实验。

图像的增强方法主要分为时域和频域两大类，这是通过处理空间来划分的。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：