摘 要

卷积神经网络，是一种基于分布式并行数据处理算法的数学模型，它的原型是模仿动物神经网络特征。卷积神经网络的权值共享结构使之更类似生物神经网络，且在图形处理领域表现出其特有的优势。

本文以图形分类为研究对象，围绕卷积神经网络设计和优化展开研究，完成了如下工作：

(1)明确在caffe框架下运用卷积神经网络处理图像分类的步骤，以及其中涉及的训练超文件、网络模型文件和卷积神经网络的对应关系。并在caffe框架下实现本文所涉及的所有卷积神经网络。根据本文所使用的数据集特点，修改卷积神经网络的训练算法。

(2)分析了卷积神经网络在图像分类中的常遇问题。在LeNet-5模型的基础上，通过改进和调整网络结构，设计一个浅层卷积神经网络MyCNN作为原始网络。并通过实验比较分析改进后的网络与LeNet-5网络的分类准确率。

(3)针对前面提到的卷积网络常遇问题，在MyCNN上进行参数优化，提高网络性能。以cifar10图像集作为数据集，用不同的网络进行训练、测试实验。实验结果表明，各种正则化方法可以有效地降低网络过拟合程度，不同的下采样方式也对网络的准确率造成不同的影响，batchsize的大小也对网络性能有较大影响。本论文的结论也适用于其他卷积神经网络。

关键字：卷积神经网络；过拟合；BP算法

Abstract

Convolution neural network is a mathematical model based on distributed parallel data processing algorithm and its prototype is to mimic the characteristics of animal neural network. Weight sharing structure of the convolution neural network makes it more similar to biological neural network and gives it unique advantages in the field of graphics processing.

To classify the graph as the object of study, This paper focuses on the design and optimization of convolution neural networks, and completes the following work:

1.Firstly, making clear the steps of using the convolution neural network to process the image classification under the framework of caffe and the correspondence between the training super file, the network model file and the convolution neural network. Then, realizing all convolution neural networks involved in this paper under the framework of caffe and modifying the training algorithm of convolution neural network according to the characteristics of the data set used in this paper.

2.To raise the common problems in convolution neural network training. Then, on the basis of LeNet-5 model, a shallow convolution neural network named MyCNN is designed as the original network by improving and adjusting the network structure. And the classification accuracy between the improved network and LeNet-5 network is compared by experiment.

3. In order to solve the problem of convolution network mentioned above, parameter optimization is done on MyCNN to improve network performance. By setting the cifar-10 image set as a data set, training and testing the experiments with different networks, the results show that the regularization method can effectively reduce the degree of over-fitting of the network and different down-sampling methods can also have different effects on the accuracy of the network. What’s more, the size of batchsize also influences the network performance a lot. The conclusions of this paper are also applicable to other convolution neural networkd.

Key Words: convolutional neural network, Overfitting，Error Back Propagation

目 录

摘 要 i

Abstract ii

第1章 绪论 1

1.1背景及意义 1

1.2 国内外研究现状 2

1.3 本论文的主要工作 3

1.4 本文组织结构 3

第二章 基于caffe框架的卷积神经网络实验 5

2.1 引言 5

2.2 卷积神经网络 5

2.2.1 局部感知 6

2.2.2 共享权值 6

2.2.3 下采样 6

2.3 卷积神经网络的训练算法 7

2.4 基于卷积神经网络的图像分类实验 8

2.4.1 实验数据 8

2.4.2 实验环境 9

2.4.3 评估指标 9

2.4.4 实验步骤 10

2.4.5 实验结果及分析 11

第三章 面向图像分类的卷积神经网络结构改进及实现 13

3.1 引言 13

3.2 卷积神经网络在图像分类中不足分析 13

3.2.1 过拟合 13

3.3.2 Batchsize的影响 13

3.3基于LeNet-5的卷积神经网络结构改进 14

3.4实验对比及分析 17

第四章 MyCNN的参数优化及实现 18

4.1 引言 18

4.2 L1正则化 18

4.3 L2正则化 19

4.4 Dropout 19

4.5 重叠下采样、均采样 20

4.6 扩增数据集 21

4.7 实验对比及分析 22

4.7.1 不同正则化网络的实验分析 22

4.7.2 不同下采样网络的实验及分析 23

4.7.3 不同batch size值网络的实验及分析 23

第五章 总结 25

5.1 全文总结 25

5.2 工作展望 26

参考文献 27

致 谢 28

第1章 绪论

人工神经网络（ANNs）,简称为神经网络(NNs)或连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络是计算智能和机器学习研究领域内非常活跃的分支之一。深度学习算法是机器学习研究中一个新的领域，近年来在人工神经网络领域取得了重大突破，卷积神经网络作为人工神经网络的一种，通过组合低层特征形成更加抽象的高层特征。本论文将在经典的卷积神经网络模型上优化多种参数以提高其在图像分类中的准确率。

1.1背景及意义

如今是数字信息化的时代，图像这一多媒体介质，是人们日常获取信息的一个主要来源。正由于图像信息的重要性，随着计算机技术的发展，图像识别技术也日益增长。

随着计算机硬件的不断进步，数字图像处理及其相关计算机技术的日益发展，人工智能领域也逐渐被科研人员所重视并进而发展了一系列相关的理论研究，目前来说，如何快速并准确的识别和分类电子视觉设备获取的图像信息是相关领域研究员所迫切解决的问题。深度学习模拟出人脑的分层结构模型，可以从低到高的提取输入特征，从而搭起从初始像素信息到所需的实际信息的桥梁^[1]。

目前，深度学习网络中神经网络已经成为图像处理的一个重要研究方向，其中一个重要的应用是卷积神经网络进行图像分类^[2]。卷积神经网络（Constitutional Neural Networks, CNN）是在前反馈网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法，通常至少有2个非线性可训练的卷积层、2个非线性的下采样层(又叫pooling layer)和1个或者多个全连接层，至少5个隐含层。目前，由于更大数据集的提供、新的深度学习技术的支持、新的计算硬件的产生，为CNN的发展提供了前提条件，利用CNN进行图像识别和分类将会替代传统计算机视觉方法成为主流。