摘 要

本文从经典机器学习方法着手，分析经典方法的特点和局限性，从而引出了机器学习的三种新方法，并且对此进行研究。所得结果对于机器学习发展具有重要的指导意义。

论文主要研究了三种机器学习方法，分别是流形学习方法，基于张量数据的机器学习方法，李群学习方法。三种方法互相联系。流形学习的意义是寻找数据集中隐藏的整体几何规律，流形学习算法在模式识别及机器学习的任务中起到了重要的作用。从流形学习的数学意义着手，研究几种流形学习算法，并对几种流形学习算法进行比较。在经典的机器学习领域，大多数传统的机器学习算法都是基于向量空间的数据进行设计的。但是在实际生活中，许多实际数据是通过张量形式才能很好的表达。从张量学习的研究背景出发，介绍了张量学习的国内外研究现状，着重研究低秩映射支持向量机模型。这一模型较传统支持张量机方法有较大的优越性。张量学习是属于李群学习的一个分支。李群与机器学习相结合，产生了新的机器学习方法-李群机器学习。主要介绍了选择李群与机器学习结合的原因然后介绍了李群机器学习的模型和相关算法。并提出了李群学习的展望。

研究结果表明这三种机器学习新方法分别填补了经典学习的空白，在实际生活中得到广泛的应用。

本文的特色：概括机器学习发展史，从经典机器学习方法出发，研究特点，发现局限性，并找到新型机器学习方法可以解决该问题。

关键词：流形学习；张量数据；李群机器学习方法

Abstract

From classical machine learning methods, analyzes the characteristics and limitations of classical methods, which leads to three new machine learning methods, and to study it. The results have important significance for the development of machine learning.

Thesis, three machine learning methods are manifold learning method machine learning method based on tensor data Lie learning. Three ways to contact each other. Manifold learning is to find the meaning of the whole data set hidden geometric regularity, manifold learning algorithm in pattern recognition and machine learning tasks play an important role. We proceed from the mathematical sense manifold learning, research several manifold learning algorithms, and several manifold learning algorithms are compared. In the classical field of machine learning, most of the traditional machine learning algorithms are based on the data of the vector space design. But in real life, many of the actual data can be well expressed by tensor form. From tensor learning research background, research Tensor data introduced the amount of learning, focusing on low-rank mapping support vector machine model. This model has more advantages than the traditional support tensor Machine. Tensor is a branch of learning is learning Lie. Lie and machine learning combine to produce a new machine learning method - Lie group machine learning. The main reason for choosing introduced Lie combined with machine learning and then introduced Lie group machine learning models and associated algorithms. And prospected Lie learning.

The results show that these three new machine learning methods were to fill the gaps classical learning, it is widely used in real life.

Features of this paper: summarizes the history of machine learning, from classical machine learning methods to study the characteristics found limitations and find new machine learning methods can solve the problem.

Key Words：Manifold Learning;Tensor data;Lie group machine learning method

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1 机器学习概述 1

1.2 机器学习发展历史 1

1.3 机器学习方法 1

1.3.1 符号学习方法 1

1.3.2 非符号学习方法 2

第2章 流形学习 6

2.1流形学习概况 6

2.1.1流形学习的研究背景 6

2.1.2 流形学习研究意义和作用 6

2.1.3 流形学习的数学意义 7

2.2 流形学习算法 7

2.2.1 等距映射算法(ISOMAP) 8

2.2.2 局部线性映射算法（LLE） 8

2.2.3 拉普拉斯特征映射算法（LE） 9

2.2.4 Hessian局部线性映射算法（HLLE） 9

2.3 流形学习算法小结 9

第3章 基于张量数据的机器学习方法 11

3.1张量学习研究背景 11

3.1.1机器学习中的张量学习问题简介 11

3.1.2张量学习国内外研究现状 12

3.2 张量低秩映射与低秩支持张量机模型 13

3.2.1 张量学习和经典向量方法的比较 13

3.2.2 经典秩一支持张量机模型 13

3.2.3低秩支持张量机模型 13

第4章 李群机器学习算法 15

4.1 李群学习的概念 15

4.2 李群机器学习模型 15

4.3 李群机器学习的相关算法 16

4.3.1 李群均值学习算法 16

4.3.2 李群半监督学习算法 16

4.4 李群学习展望 16

第5章 总结 18

参考文献 19

致谢 20

第1章 绪论

机器学习是一门研究如何通过计算机模仿和实现人们学习活动学科。机器学习是计算机可以获取知识的根本渠道。是计算机具备智能的重要表现。

1.1 机器学习概述

学习是机器学习的核心重点。学习是人们具有的一项特殊天赋，不同于动物的本能，如何让机器如同人那样，能够通过外界环境的作用来增强自己的性能，是机器学习研究内容的重中之重。机器学习是一个从空白到已知的过程。若是具备这种程序的机器。能够解决的问题会越来越多，正是由于这种程序的存在，机器能解决问题的能力越来越强，性能也越来越好。人们则称这台机器具备学习的能力。

1.2 机器学习发展历史

“从机器学习的发展史来看，机器学习分为热烈时期，冷静时期，复兴时期，还有蓬勃发展时期。”^[1]时间依次是二十世纪五十年代中叶到六十年代中叶，二十世纪六十年代中叶到七十年代中叶，二十世纪七十年代中叶到八十年代中叶，二十世纪八十年代中叶至今。现在是机器学习的蓬勃发展时期，神经网络学习方法的盛行，带动了符号学习方法和非符号学习方法的发展，学习系统不仅仅是在实验室，也进入了人们生活的实际应用中。

1.3 机器学习方法

正像人有形态各异的学习方法，机器学习同样有各种各样的学习策略。主要分为两类，一类是符号学习方法，一类是非符号学习方法。

1.3.1 符号学习方法

依据使用推理的程度划分，机器学习方法大体上可以划分成五种： 机械式学习，指导式学习，演绎学习，归纳学习，类比学习。

机械式学习是最起码的学习策略，就是把周围环境所能反映的信息简单存储起来，没有经过任何推理，死板的学习。这种学习适用于输入输出稳定，外界环境比较固定的系统里。