摘 要

深度学习(Deep learning)是近几年来发展十分迅速的机器学习技术，其模型也包括很多种，并且都得到了很好的发展。其中深度信念网络（DBN）、卷积神经网络是近年来兴起的机器学习模型。其思想在于模拟人的思维方式来进行学习、分析各种数据，比如图像、文本和声音。深度信念网络将无监督预训练以及有监督微调的学习过程进行了结合，具有获取样本本质特征和自动提取样本概率分布的优势，从而可以实现大数据的文本分析和邮件分类。

（1）本文在学习、研究和分析了现阶段的深度学习技术的基础上，研究了如何将这一技术运用到事务性工作处理机器人当中，以事务性工作处理当中的文本分析为例，设计邮件分类查询机器人，设计了深度信念网络和卷积神经网络的训练算法，对文本进行分析和邮件进行识别，进而实现邮件检索系统，阐述了深度学习在事务性工作处理中的运用。

（2）本文主要实现了邮件分类与自动回复机器人系统的设计和理论分析，设计了验证支持向量机、多层感知器神经网络、卷积神经网络，深度信念网络在邮件分类当中的功能的实验，验证了它们在文本分析和机器自动学习中的优劣。

（3）基于上面两项工作设计了邮件检索系统。当未知邮件发送进来，经我们设计的算法分类后，我们就可以进行检索，由于时间原因未来得及实现邮件自动回复模块，邮件自动回复模块需要邮件服务器，过程中我们使用本地搜索邮件代替了网络爬虫来爬去邮件，虽然变得简单了，但是思想没有变化，后续有条件，有需要可以进一步的实现。

关键词：深度学习；深度信念网络；限制性玻尔兹曼机；邮件分类

Abstract

Deep learning is a very rapid machine learning technique developed in recent years. Its models also include many kinds and have been developed very well. Among them, Deep Belief Network (DBN) is a machine learning model that has emerged in recent years. The idea is to simulate the way people think about learning, analysis of various data, such as images, text and sound. The deep belief network combines unsupervised pre-training and supervised fine-tuning learning process. It has the advantages of obtaining the essential characteristics of the sample and automatically extracting the probability distribution of the sample, which can realize the text analysis and mail classification of large data.

(1) On the basis of studying, studying and analyzing the deep learning technology at the present stage, this paper studies how to apply this technology to the transactional processing robot, take the text analysis of transactional work as an example, and design the mail classification query Robot, the training algorithm of deep belief network and convolution neural network is designed, the text is analyzed and the mail is identified, and the mail retrieval system is realized. The application of depth learning in transactional work processing is expounded.

(2) This paper mainly realizes the design and theoretical analysis of the mail classification and automatic response robot system, and designs the experiments to verify the function of the support vector machine, the multi-layer sensor neural network, the convolution neural network and the deep belief network in the mail classification. They are in the text analysis and machine learning in the pros and cons.

(3) Based on the above two work design of the mail retrieval system. When the unknown message sent in, we have been designed by the algorithm classification, we can retrieve, due to time reasons to achieve the mail automatically reply to the module, the mail automatically reply to the module needs mail server, the process we use local search mail instead of the web crawler to crawl the mail, although it becomes simple, but the idea has not changed, follow-up conditions, there is a need to further achieve.

Key Words：Deep learning；Convolutional neuron networks；Restricted Boltzmann machine；Mail classification

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1选题研究的目的及意义 1

1.2深度学习的发展和国内外研究现状 1

1.2.1深度学习的基本思想 1

1.2.2深度学习的发展及研究现状 2

1.3事务性工作处理机器人概述 2

1.4研究工作及章节安排 3

1.4.1主要研究工作 3

1.4.2具体章节安排 3

第2章 深度学习 5

2.1 浅层学习和深度学习 5

2.2 深度学习的模型结构 6

2.2.1深度学习的结构 6

2.2.2深度信念网络 6

2.2.3卷积神经网络 7

2.2.4深度玻尔兹曼机 7

2.3限制波尔兹曼机 8

2.3.1 RBM的结构 8

2.3.2 RBM 的训练 9

2.4深度学习的训练方法 11

2.4.1深度学习的训练过程 11

2.4.2深度信念网络的训练方法 12

2.5本章小结 12

第3章 邮件分类与自动回复机器人系统设计 13

3.1系统架构 13

3.1.1系统设计的背景 13

3.1.2系统架构的设计 13

3.2网络爬虫模块 14

3.2.1网络爬虫关键技术以及工作原理概述 14

3.2.2爬虫模块设计 14

3.3本地邮件语料库 15

3.4文本处理与特征提取 15

3.4.1文本处理 16

3.4.2文本特征提取 16

3.5邮件分类与查询模块 16

3.5.1邮件分类 16

3.5.2邮件检索与查询 17

3.6邮件自动回复系统 17

3.7本章小结 18

第4章 邮件分类与自动回复机器人系统实现 19

4.1算法开发环境配置 19

4.2文本特征提取 20

4.3邮件分类实验 21

4.3.1基于支持向量机的邮件分类 22

4.3.2基于多层感知器神经网络的邮件分类 23

4.3.3基于深度信念网络的邮件分类 25

4.3.4基于卷积神经网络的邮件分类 26

4.3.5邮件分类结果分析 27

4.4邮件检索与查询系统 28

4.4.1根据标题检索 28

4.4.2根据内容检索 29

4.4.3根据类别检索 29

4.5自动回复系统 30

4.6本章小结 31

第5章 总结与展望 32

5.1本文总结 32

5.2后期展望 32

参考文献 34

致 谢 35

附录A 36

第1章 绪论

1.1选题研究的目的及意义

我的毕业设计题目是基于深度学习的事务性工作处理机器人研究。深度学习是机器学习研究的新领域。基于神经网络，建立模拟人脑分析与学习模型，模拟人脑机制识别目标和感知信息。同时，作为一种新的多级神经网络维数降低算法，通过构建具有多隐层的深层神经网络模型，逐层对输入高阶数据提取特征，找出数据的低嵌套结构，形成更抽象和有效的高层表示。

近年来深度学习技术得到了快速的发展，尤其在智能化上应用十分广泛，在机器人方面，像这两年立足发展的高考机器人。高考机器人是国家863“超脑计划”牵头研制的，它将在2017年参加高考文科考试，力争“考上”国家一本。还有答题机器人；美国佐治亚理工大学研制出来一款机器人代替助教为学生授课。随着智能化快速的融入人们的生活，以及人们追求更好的学习，工作，生活服务，像这些高度智能化的能够作为人们助手的机器人就成为未来发展的一个大方向。而这些都与深度学习技术这一新兴的领域密不可分。

如果将深度学习这一新兴的机器学习方法应用到事务性工作处理的算法上。这样就可以大大减少人们在简单的事务性工作处理上所花费的时间，来做些其他更有意义的事情。这样既可以节约时间，又可以把事情给办好。

1.2深度学习的发展和国内外研究现状

2006年Hinton等人提出了深度学习的概念^[1,2]。基于深度置信网络（DBN），提出了一种非监督贪心逐层训练的算法，为解决与深层结构相关的优化问题，紧接着又提出了一种多层自动编码器深层结构。另外，Lecun等人^[3]提出的卷积神经网络，它利用空间相对关系来减少参数数量，提高训练效果。

1.2.1深度学习的基本思想

对于深度学习，它的主要思想是将多个层进行堆叠，即下一层的输入是上一层的输出结果。这样，我们就可以将其输入分级表示，这样将训练变得更加简单易行。