摘 要

图像的分类和识别是当今最具有热点的学习问题之一，本文以一种新兴的学习算法-超限学习机算法（extreme learning machine,ELM）实现图像的分类和识别。与传统的学习算法不同，ELM通过随机生成权值的方式极大地提高了运算速度同时保持了测试精度。然而因其浅层的结构，ELM无法处理复杂的自然信号，于是本文进一步采用一种深层学习网络，该深层学习网络以一种新的自编码器算法-稀疏自编码器算法实现数据的特征提取，通过该算法，可以得到原始数据更稀疏更高水平的表示，最后再使用ELM算法进行分类，可极大提高测试精度。本次设计将在三种不同的数据集上验证ELM和深层学习网络的性能，可以得出ELM具有训练速度快、泛化能力强等优点，并且能够很好地适用于大数据集的多分类问题。

关键词：极限学习机；深层学习网络；稀疏自编码器；图像分类和识别

Abstract

Nowadays,image recognition and classification is the most popular research topic.In this paper,a new neural network algorithm,named extreme learning machine,is proposed to achieve image recognition and classification.Unlike traditional learning algorithms,its input weights and bias are random generated,which helps to greatly improve the speed of arithmetic with maintaining the accuracy of the test.However ,due to its shallow framework ,it can’t deal with complex natural signals.Thus,a deep netual network is further used in this article.The deep netual network use a new autoencoder algorithm-ELM sparse autoencoder to achieve feature extraction.By doing this ,we can obtain higher leval and more sparse feature.Then these high leval features are imported into the original ELM,the deep network structure can obtain higher testing aucuracy.In the paper,we will test the capability of ELM and the deep netual network.It turns out that ELM has the advantage of extremely fast training and good generation,and it is suitable for multiclass classification problems of big data.

Key Words：extreme learning machine,deep netual network,sparse autoencoder, image recognition and classification

目 录

摘要 I

Abstract II

第1章 绪论 1

1.1 研究背景和研究意义 1

1.2 研究现状 2

1.3 研究目标和研究内容 2

1.4 论文的组织结构 3

第2章 相关理论 4

2.1 ELM的工作原理 4

2.2 ELM稀疏自编码器 6

2.3 H-ELM框架的工作原理 7

第3章 ELM和H-ELM的性能评估与分析 9

3.1 mnist数据集上的仿真 9

3.2 norb数据集上的仿真 12

第4章 算法的实际应用 18

4.1 canbridge-gesture database的介绍和图片序列的录入 18

4.2 ELM的实际应用情况 20

4.3 H-ELM框架结构的实际应用情况 21

第5章 结论 25

参考文献 26

致谢 28

附录A 29

附录B 32

附录C 36

第1章 绪论

1.1研究背景和研究意义

图像的识别和分类一直是图像处理中具有热度的话题，其所研究的问题，是利用计算机去处理得到的大量图像数据信息，于这繁杂的信息中提出人所不知的特征作为分类的基准，最终完成分类。图像的识别和分类在生活中具有广泛的应用，如本文中将会提到的手写体识别研究，其所包含的数据即是人们在日常生活中随处常见的数字，由此可见图像识别和分类在生活中的实用价值。

如今大多应用于图像识别的学习算法，其分类器多使用支持向量机(SVM), SVM是通过最小化结构风险实现经验风险和置信范围的最小化来完成图像的分类，提高测试精度的。一般而言，传统的SVM结构只能实现二分类问题，但可以通过分解策略使SVM可以完成多分类问题。这种方式的主要思想在于，利用多个SVM进行分类操作，每一个SVM仍旧是处理二分类问题，这样便可以实现将一个多分类的问题转化为多个二分类问题的组合。这种方法虽然可行，但在处理训练样本数目大和样本类别数多的数据集时，这种分解策略极大地加大了计算量，从而使结果的训练时间长且训练精度低^[1]。

2004年，新加坡南洋理工大学的黄广斌教授提出了一种新的学习算法-超限学习机（ELM）算法，其核心的理念可有效解决传统学习算法计算量大，学习时间长的问题。ELM是一种新兴的学习算法，该算法的核心思想在于不通过迭代的方式，而是通过随机生成的方式确定隐藏层神经元的参数，最终采用最小二乘法直接计算出输出权值，从而可以消除由于反复迭代而产生的训练速度慢的问题。于理论上，黄华斌教授等已证实隐藏层神经元参数随机生成，输出层权重通过最小二乘法计算生成的单隐层神经网络仍旧保有其通用逼近性^[2[3]。^.

然而，ELM虽然可以极大地提高训练速度，但是在处理复杂的自然信号时，其泛化能力达不到实际的要求。ELM作为一种单隐层的神经网络结构，在提出原始数据的特征时有其能力的局限，而深度学习的思想可有效弥补这个欠缺。深度学习是机器学习的第二次浪潮，极大地推动了机器学习的发展。与浅层网络不同，深度学习利用多层的网络结构进行逐层提出特征，这样做可以使深层的网络结构提取到比浅层的网络结构提取到更加有效和高水平的特征。实际证明，在进行特征分类之前，进行特征提取是很有必要的^[4]。深层学习结构可以逐层对原始数据进行特征提取，针对复杂的输入数据，可以极大地提高神经网络的训练时间和测试精度^[5]。

综上所述，本节将采用的H-ELM的学习框架，是一种优秀的学习算法，可以实现对于复杂输入数据的快速处理，完成对于复杂输入数据的精准分类。