摘 要

机器学习是近年来提出的对数据进行分类的模型，集成机器学习则能综合多种分类方法从不同角度对数据分类，使得结果更加准确，在很多应用方面都取得了突破。在集成机器学习这个快速发展的背景下，本文首先简要介绍了集成机器学习的背景、发展和应用情况；然后介绍了机器学习的主要策略和基本结构，然后引出机器学习的概念；接着介绍了三种集成机器学习的方法——Boostrapping方法，Bagging方法和Boosting方法，其中重点介绍了Boosting方法中的AdaBoost算法，这种算法是集成机器学习的核心算法，也是本文需要研究的重点，是后续进行实验，编写程序，仿真操作必不可少的基本思想；最后用AdaBoost算法设计并实现了人脸识别系统，证实了集成机器学习方法在图片识别中的有效性，这只是集成机器学习一方面的应用。本文还做了人脸识别系统的仿真实验，检测图像是否为人脸，并给出了仿真结果，以供参考，此次实验虽然简单，但具有普遍的借鉴意义。本文旨在介绍机器学习与集成机器学习，并重点研究集成机器学习的方法和应用，使人们更加了解集成机器学习。

关键词：机器学习；集成机器学习；AdaBoost算法

Abstract

Machine learning is proposed in recent years, classifying data model, integrated machine learning can be integrated a variety of classification method for data classification from different angles, makes the result more accurate, have made a breakthrough in many applications.Under the background of the rapid development in the integration of machine learning, this paper first briefly introduces the background of the integration of machine learning, development and application;Then introduces the main strategy and the basic structure of machine learning, and then the concept of machine learning;Then introduces the three methods of integrated machine learning approach - Boostrapping, Bagging and Boosting methods, which focus on Boosting method of AdaBoost algorithm, this algorithm is the core of the integration of machine learning algorithm, the key point of this article needs to study, is a follow-up experiment, programming, simulation operation indispensable basic idea;Finally by AdaBoost algorithm design and implementation of a face recognition system, confirm the effectiveness of integrated machine learning methods in image recognition, that is only part integrated machine learning applications.This paper also do the simulation experiment of face recognition system, detect whether the image is the human face, and the simulation results are given, for reference, the experiment is simple, but has universal significance.The purpose of this paper is to introduce machine learning and integration of machine learning, and focus on integration methods and applications of machine learning, to make people know more about integrated machine learning.

Keywords: Machine learning;Integration of machine learning;AdaBoost algorithm

目 录

摘要 I

Abstract II

第1章 绪论 1

1.1 课题研究背景及意义 1

1.2 研究内容 2

第2章 机器学习的主要策略与基本结构 3

2.1 引言 3

2.2 机器学习的策略 3

2.2.1 机械学习 3

2.2.2 类比学习 4

2.2.3示例学习 5

2.2.4 解释学习 6

2.2.5 基于神经网络的学习 6

2.3 机器学习的基本结构 7

2.3.1 环境与学习环节 7

2.3.2 知识库 7

2.3.3执行环节 8

2.4 本章小结 8

第3章 集成机器学习的常用方法 9

3.1 引言 9

3.2 Boostrapping方法 9

3.3 Bagging方法 9

3.4 早期Boosting方法 10

3.5 AdaBoos算法..............................................................................................................11 3.5.1AdaBoost算法概述............................................................................................11

3.5.2AdaBoost算法的误差分析................................................................................12

3.5.3AdaBoos算法的不同理论分析模型..................................................................14

3.6本章小结 16

第4章 AdaBoost算法的人脸识别系统的设计与实现 17

4.1 引言 17

4.2 基于Adaboost算法的人脸识别的总体设计 17

4.2.1弱分类器..........................................................................................................17

4.2.2 Harr-like特征..............................................................................................18

4.2.3积分图.............................................................................................................18

4.2.4特征值..............................................................................................................19

4.2.5 AdaBoost算法................................................................................................20

4.3 基于AdaBoost算法的人脸识别系统的具体实现 22

4.3.1弱分类器的实现..............................................................................................22

4.3.2积分图的实现..................................................................................................22

4.3.3求特征值的设计与计算.................................................................................23

4.3.4AdaBoost算法与训练程序的实现..................................................................24

4.3.5测试程序的实现..............................................................................................25

4.4 基于AdaBoost算法的人脸识别系统的实现与结果 26

4.4.1 训练样本集....................................................................................................26

4.4.2 训练与测试...................................................................................................26

4.4.3 试验结果........................................................................................................26

4.4.4 试验结果分析................................................................................................29

4.5本章小结 29

第5章 总结与展望 30

5.1 工作总结 30

5.2 工作展望 30

致谢 31

参考文献 32

第1章 绪论

1.1 课题研究背景及意义

计算机的发展日新月异，随着人们深入的研究，计算机的功能越来越多样，计算机技术也越来越朝着人工智能的方向前进，或者说，计算机诞生的那一刻就是人工智能的开始，现在计算机的许多功能也是在模仿人类的大脑，计算机的操作也是在实现人类的行为。但人类有一种行为活动是机器很难实现的，那就是人类特有的学习能力，人类通过学习可以不断更新知识，获得新技能，以往机器（主要是计算机）能很好的模仿人的活动，那现在机器是否能像人类一样自己学习新东西呢？近年来，有许多科学家在研究这个问题，如今已经形成了一门独立的学科—机器学习。机器学习的经典问题就是在有监督条件下的自动分类问题，曾经出现过许多关于分类问题的算法，但每种算法只是从某一方面，某一角度来对事物分类，这些方法存在着很多不足之处，为了解决这个缺陷，有人提出综合多种算法，从不同角度对事物进行分类的想法，这就是早期的集成方法，将其运用到机器学习之上，就发展成了机器学习的一个重要分支—集成机器学习。

机器学习的一个主要特点就是其泛化能力，所谓泛化能力就是机器在数据中发现的模式的推广能力，机器的泛化能力越强，其效率越高。因此，如何提高机器的泛化能力已经成为机器学习的重点研究向。研究表明，集成机器学习可以显著提高机器的泛化能力，是机器学习的基础，它因此被评为机器学习四大研究方向之首。南京大学周志华教授是国内知名的机器学习研究学者，也是集成机器学习方面顶尖的专家。他多年来从事这方面的研究，获得了许多在国际上影响巨大的成果，是国内机器学习研究的泰斗。他带领的研究组在集成机器学习领域进行了深入研究，他们的研究成果获得了广泛认同，他们将研究结果发表在Artificial Intelligence 上，并被ISI 列入2000一 2004 年被引用最多的“Top 1%”论文。