摘 要

随着我国经济实力不断增强，人民的生活水平显著提高，大量的私家车进入了群众的生活中，所以管理车辆的工作也成为城市发展需要解决的问题，要实现车辆自动化的管理系统首先就是识别出车辆的牌照号。

车牌识别系统是道路管理系统中的关键，该系统在理论和实践上都有待提高。国外的车牌系统技术要比国内的技术更完善。我认真学习国外的车牌识别技术来完成本次毕业设计。本文根据车牌定位，车牌字符分割和车牌字符识别三个关键点进行了研究。首先车牌定位就是在摄像头捕捉到的车牌图像中定位到车牌的位置，把该位置的车牌号进行预处理后并进行字符分割，对分割后的字符进行识别。

针对车牌定位的需要，本次毕业设计采用基于车牌图像色彩信息定位法，在根据像素点进行车牌字符分割提取，建立数据集，通过利用卷积神经网络来识别分割出来的字符，这种识别方法的准确率很高。

关键字：车牌定位；车牌字符分割；卷积神经网络；字符识别；深度学习

Abstract

As China’s economic strength continues to increase, the people’s living standards have improved significantly, and a large number of private cars have entered the lives of the people. Therefore, the management of vehicles has become a problem that needs to be solved in urban development. The first to realize vehicle automation management system is to identify the license number of the vehicle.

The license plate recognition system is the key in the road management system. The system needs to be improved in theory and practice. Foreign license plate system technology is more perfect than domestic technology. I seriously study the overseas license plate recognition technology to complete this graduation project. In this paper, three key points of license plate positioning, license plate character segmentation and license plate character recognition are studied. First of all, the license plate positioning is to locate the position of the license plate in the license plate image captured by the camera, pretreat the license plate number of the position, and perform character segmentation to identify the segmented character.

For the license plate positioning needs, this paper uses the color information registration method based on license plate image, extracts the license plate characters according to the pixels, establishes a data set, and uses the convolutional neural network to identify the segmented characters. The accuracy of this recognition method is very high.

Key Words： license plate location； license plate character segmentation； convolutional neural network； character recognition

目 录

第一章 绪论 1

1.1 研究背景及意义 1

1.2国内外研究现状 1

1.2.1国内研究现状 2

1.2.2国外研究现状 2

1.3本文的研究目标和主要内容 3

第2章 车牌识别系统总体方案及相关理论 4

2.1车牌识别系统总体方案 4

2.1.1 车牌特征 4

2.1.2字符识别概述 5

2.2卷积神经网络 6

2.2.1 深度学习理论 6

2.2.2卷积神经网络简介 7

2.2.3卷积神经网络的推到及实现 7

2.2.4卷积神经网络结构 8

2.2.5 卷积神经网络的求解 10

第3章 基于OpenCV的车牌定位和字符分割 11

3.1 OpenCV介绍 11

3.2车牌定位 11

3.2.1车牌图像预处理 11

3.2.2 车牌定位算法的选择 11

3.2.3车牌定位算法的实现 12

3.3 车牌字符分割 14

3.3.1车牌字符倾斜校正 14

3.3.2车牌字符分割算法 14

3.3.3车牌字符分割的实现 15

第4章 基于TensorFlow的字符识别 18

4.1 TensorFlow介绍 18

4.2基于卷积神经网络的字符识别算法及实现 19

4.2.1车牌字符数据集 19

4.2.2 字符识别的网络结构设计 22

4.2.3字符识别的实现 22

第5章 总结与展望 25

5.1 论文总结 25

5.2课题展望 25

参考文献 27

致谢 28

第一章 绪论

1.1 研究背景及意义

我国的汽车工业方面的实力日益增强，这也代表着我国人民对汽车的需求越来越大，大多数家庭都有私家车。这也给城市的发展带来了难题，如何保证车辆有序的行驶，不造成交通拥挤，并且减少事故发生率。这就要求我国开发出使道路管理系统更加高效的车辆牌照识别系统。从前，我国主要是交警等人力资源来疏散交通，这种方法除了效率低下，而且还难以保证质量。与此，人工智能技术的日益发展，我国的车牌识别发面可以变得更加便捷，实现管理的自动化，让人和机器共同承担道路管理方面的责任。

当车主购买汽车后，不可以立即上道行驶，因为国家规定每一辆机动车都要按照规定上机动车牌照。机动车上挂在前面的牌照是机动车所属的编号，如果将来这辆车发生事故，只需要查询牌照便可知道车主的个人信息，方便国家机关的取证工作进行。通过这个例子可以看出车牌识别系统在道路交通管理系统中占据着极其重要的地位，目前国内外的主流的车牌识别系统有下面三种，通过对比可以发现哪种方法具有更好的使用性。

一种是基于集成电路的射频识别技术，它是将车辆号码信息写入芯片中，然后在机动车里放置芯片。一种是能够穿透各种障碍物获取信息的无线射频技术，而且这种技术可以方便信息获取，但它并不是一种通用性很强的方法。最后一种是直接在监控图像中提取车牌数据的方法，提取的数据质量比较差，但这种方法与前两种比较有很强的优势，一方面这种方法可以在车牌受到污染的情况下，通过车牌图像预处理，可以将车牌图像信息完全读取出来。而且，监控系统的大量应用，获取车牌图像的路径也变得更加方便。最后，我国已经标准化了车牌，图像识别的方式通用性也变得更强。

本次毕业设计所研究的车牌识别系统，就是通过一些主流的计算机技术，数字图像处理技术来进行系统设计。利用OpenCV的便捷性来定位车牌，同时将车牌字符分割建立数据集，通过人工智能相关的技术来进行字符识别。所以车牌识别系统的第一步就是要获得车牌图像，由于我国的监控系统比较完备，通过摄像头可以轻松获取车牌图像，车牌图像通过与处理后进行定位和字符分割，识别处的车牌号，传给管理系统来计费或者管理车辆停车信息。综上所述，车牌识别系统不仅可以带来良好的社会综合效益，而且它能带来不小的经济效益，这个系统的高效运行对我们交通方面的好处很大，高速公路等都可以利用所以对车牌识别系统的深入研究很有必要。

1.2国内外研究现状

交通系统的现代化方面，国内的汽车市场不如国外的完善。车牌识别系统的研究是国外的研究人员推动的。但他们的识别是针对特定的系统，这几年，计算机软硬件迅速更新换代。计算机硬件的性能的显著提升直接促进了软件执行的效率提升。车牌识别适用范围的扩展也通过硬件和图像处理技术的革新得以实现。

1.2.1国内研究现状

在国内的许多科技型企业目前已经开始重点开发针对本土车牌进行识别的系统，与此同时我国的许多大学实验室也正在开展了众多的车牌识别方面的算法设计研究。厦门的宸天电子开发了SupPlate系统，这个系统目前已经广泛应用到实际的车牌监测中。宸天电子开发的系统基于纯视频处理技术，这个系统可以识别我国的标准车牌，它还可以忽略光照的影响，属于现阶段一款非常高效的车牌识别系统^[2]。还有一家工作的车牌识别系统，系统内置最新的人工智能识别技术，识别车牌很高效，时间可以达到几毫秒。

目前国内高校有研究成果的包括南京邮电大学，这所学校开发了一个基于车牌颜色特性的先验知识的技术来完成车牌定位，在字符识别上采用了比较实用的BP神经网络，对于BP神经网络的特性，它必须要针对汉字，英文字母和数字三部分分别设计不同的识别系统，可以提高车牌字符的识别率。

但是目前国内的研究工作大多针对比价简单的车牌图像进行处理，并没有考虑到实际中的背景干扰，车牌识别系统中的算法只是针对图像质量比较高的车牌图像，并且在精确度方面存在问题，需要继续加强和改进。

1.2.2国外研究现状

国外的一些学者主要是对他们国家的车牌特点进行研究，但是他们的技术要比国内的先进，并且对汽车方面的自动化管理更加高效，可以看出国外一些发达国家的车牌技术暂时领先于国内。

首先德拉稀奇是利用基于人工视觉系统的神经网络，该系统可以从摄像头中调取车牌图像数据，然后在进行字符定位和字符分割，这个系统重要的一个优点是系统本身还可以对识别的结果进行自我评估，并且系统还可以比较容易混淆的文字，如’O’和‘0’在识别过程中难以区分，系统的灵活性在于会返回多个可供选择的相似结果进行人工选择，可以提高车牌识别系统的整体可靠性。他还在系统中装了多个文字识别的引擎，通过对德拉稀奇实际的测试结果分析，他所设计的算法整体识别率有80%，Kim设计的基于SVM的车牌识别算法的整体识别率更高。国外对于车牌识别系统的研究要比我国要早，国外的车牌识别系统当然也有大量的我们可以借鉴的地方，所以本次毕业设计研究了大量的外文文献。

1.3本文的研究目标和主要内容

车牌识别系统作为交通管理系统的一大核心功能，本文主要探讨了如何根据数字图像的知识来获得车牌号码。国外研究车牌识别系统已经比较成熟了，并且已经进入了企业。但是外国的系统对我国的车牌并不实用，本次毕业设计我查阅大量文献资料，从最初的车辆牌照定位算法到车辆牌照字符分割的算法。卷积神经网络的应用是本次毕业设计的关键内容，应用谷歌开源的Tensorflow框架来搭建卷积神经网络进行车牌字符识别。

除了对上面的关键算法的研究，我还实践了许多以前的研究内容。在根据前人对车牌识别系统的研究上，我学会了车牌图像预处理是关键的技术。我查阅了大部分有关于OpenCV的资料，因为应用OpenCV来处理车牌图像比较方便。另外，我还学习了基于pycharm平台的编程方法，而且本次毕业设计用Python语言来编写车牌定位，车牌字符分割，搭建卷积神经网络的算法。

第2章 车牌识别系统总体方案及相关理论

2.1车牌识别系统总体方案

车牌识别系统是交通管理系统的一个核心功能，构建一个高准确率，识别率的系统成为现阶段研究的重点。传统的BP神经网络已经应用在系统中，但无法处理大型数据集。但卷积神经网络在处理大型数据集方面的能力很强，所以本次车牌识别系统的方案使用卷积神经网络来进行车牌识别模块。完成车牌识别系统的总体设计需要在车牌图像中找到车牌号，即车牌定位，再进行识别。利用OpenCV轻量高效，具有多个接口，通过这些接口可以实现计算机视觉和数字图像处理方面的许多常用算法，并提供了很多函数。通过这些函数可以进行车牌定位和车牌字符分割模块。所以本次毕业设计的车牌识别系统的总体框架主要分两部分，一部分是基于OpenCV的车牌定位和字符分割算法，另一部分是基于卷积神经网络的字符识别算法。

2.1.1 车牌特征

在研究背景及意义中已经提到了国家为了管理机动车辆，要求每辆车都要按照政府机构颁布的车辆牌照规则注册登记。我国目前的车牌标准为2007年的车牌标准，中华人民共和国机动车号牌标准如图2.1所示。不同的机动车采用的车牌标准在细节方面也很大的区别。

黑字搭配白底的车牌代表该车辆是具有相当容量的车辆和各种驾校的教练员培训学员所配置的机动车。私家车，出租车，面包车等，都统一使用蓝底白字的车牌，这种搭配有利于人眼识别。还有一种是港澳和大使馆等特别机构使用的车辆统一用黑底白字的车牌。最后一种是警方使用的机动车，使用的是白底黑字的车牌^[1]。车牌的分类是根据车辆不同的用途分类的，所以车牌都有相对固定的颜色特征。由于这个原因，在车牌定位中基于颜色特性就成为了一个重要的参考因素。本次毕业设计就是采用基于车牌图像色彩信息定位法。

车牌自身的大小，根据图2.1可以看出车牌的长度和宽度，字符长度和宽度，还有车牌上下边缘距离字符的距离。车牌上的英文字母和数字的笔画宽度是相同的。这些特征对车牌定位结果有着重要的意义。

还有就是车牌编码方式和车牌编码所代表的实际意义。我国机动车的车牌号由7个字符组成。第一个字符是代表省份的中文汉字字符（用的是省份的简称），第二个是一个英文字符（除了I以外，避免与数字1混淆），车牌的编码就是后面的五位字符，字母和数字混合，这样就可以保证每辆车牌编码都是不同的。

图2.1 中华人民共和国机动车牌照

2.1.2字符识别概述

模式识别技术中的“模式”，是指人们基于某种需求而对自然界中拥有某些属性的事物分为一类。模式样本是指该类中的某一具体事物。也就是说，模式样本是对某一模式的具体体现。模式识别的意思就是对某一模式下的样本所具有的类别属性来进行识别的过程。在模式识别技术中，应用最为成功的一个方面就是字符识别。在字符识别的过程中，具体字形就是模式的表现形式。对于字符的识别，究其本质是对字形，字母，和车牌数字进行识别。

字符识别的过程为：输入预处理完毕的字符图像点阵图，从中提取出可以表征该字符的特征，然后通过一定的判定规则判定该字符。字符识别的方法主要有基于深度信念网络的方法、基于结构特征和灰度特征的方法和基于模板匹配和神经网络的识别方法，但是应用卷积神经网络进行车牌字符识别的研究却很少，一方面由于卷积神经网络需要庞大的图片数据库，另一方面由于卷积神经网络对硬件性能的要求也比较高，所以以前对卷积神经网络的应用不是很广。近阶段由于谷歌Tensorflow库的开源，以及硬件技术的发展，卷积神经网络逐渐成为了研究热点，得到了快速发展，许多快速的计算方法和新的卷积神经网络结构被提出，卷积神经网络近几年在图像分类，目标跟踪，文本识别，动作识别等方面都大有进展，综合分析以上的各种因素，因此本次毕业设计将采用卷积神经网络来识别车牌字符。

对于车牌字符的识别方法，现阶段常使用的方法有下面几种，一种是基于模板匹配和基于各种神经网络的方法，还有一种是基于图像的结构特征和灰度特征的方法，以及基于深度信念网络的方法，比较先进的是基于SVM支持向量机的识别方法。本次毕业设计利用将字符图像进行预处理后，它的形状结构变简单的特点，利用卷积神经网络来进行车牌字符识别，由于卷积神经网络只包括了两个卷积层和两个采样层，每层的特征图较少，并且网络结构简单，采用非全连接的优点以及它处理二维图像的优越性。通过本次毕业设计的执行结果可以看出，用卷积神经网络进行车牌识别，不仅识别时间短，而且正确的识别率也很高，所以本次毕业设计利用卷积神经网络来进行车牌识别是比较先进的方案，也是本文的一个创新点。

2.2卷积神经网络

卷积神经网络(Convolutional Neural Networks， CNN)属于深度学习的一种模型结构，是深度学习多层感知器(MLP)的变种^[9]。卷积神经网络具有权值共享以及局部感受的特点，由于具有这个特点，它相对于其他的深度学习模型，特征提取能力更加高效，训练、识别、分类所消耗的时间更短。

2.2.1 深度学习理论

众所周知，AlphaGo、AlphaGo Zero在人工智能中的深度学习方面取得了突破性的成果。众多领域都开始关注深度学习，深度学习已经在识别，推荐决策方面展现出了巨大优势。

深度学习是由人工神经网络进化而来的，它的思想与人工神经网络思想是一致的。近几年，深度学习的发展历程大概分为3个阶段，第一阶段，以在20世纪80年代诞生的BP神经网络算法为起点，如今，BP算法也是神经网络中最经常使用的参数学习方法，但是在当时，由于硬件水平和数据样本较为匮乏，BP神经网络存在不能有效解决梯度弥散和极值的问题。第二阶段是，辛顿提出使用一种无监督的神经网络训练方法。第三阶段，在2012年辛顿课题组构建了CNN卷积神经网络，并在ImageNet图像识别大赛中夺冠，性能远远超过第二名，CNN逐渐吸引众多研究者的关注。它打开了人工智能新世界的大门，成为了具有处理大数据能力的深度学习模型。

近些年来，深度学习通过在某些任务中极佳的表现正在改革机器学习。深度学习方法在会话识别、图像识别、对象侦测以及如药物发现和基因组学等领域表现出了惊人的准确性。本次毕业设计用到了卷积神经网络CNN进行车牌字符识别。

2.2.2卷积神经网络简介

卷积神经网络是近几年发展起来的特殊的深度神经网络模型，神经网络的特殊性在于神经元的连接不是完全连接的，而且在同一层中神经元之间的连接的权值是相同的。它的非全连接特性以及权值共享网络结构使其跟生物神经网络很相近，这两种特性降低了网络模型的复杂性，这对于学习困难的深层结构非常重要，并且减少了权值的数量。卷积神经网络属于一种监督式的深度学习模型。由于它适应性很强，挖掘数据局部特征方面和提取全局训练特征并且进行分类方面的能力很强。由于它具有权值共享结构网络可以让它在模式识别的各个领域的效果不错。

卷积神经网络在本质上属于多层感知器。它成功的关键在于它使用非完全连接和共享权重的方式。这种方式一方面，权重的数量减少使网络变得优化，而且另一方面，它也降低了过拟合的风险。卷积神经网络具有的权值共享结构可以降低网络模型的复杂度。当该神经网络的输入是多维图像时，这种优势更加明显。当直接将图像作为输入时，它可以避免进行复杂特征提取和数据重构过程。卷积神经网络可以使用神经元和学习规则的不同组合方式。这种神经网络具有传统技术所不具备的优点。例如，容错性良好、并行处理能力和自主学习能力。它可以处理复杂的环境信息，背景知识不明确，推理规则不明确，样本可以具有较大的缺陷，分辨率高。该算法利用结构重组和权值减缩，将特征提取函数集成到多层器中，在识别之前省去了复杂的图像特征提取过程。

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：