文 献 综 述

1.自编码技术的内容、意义与应用

Auto-encoder^[1]自编码算法是一种基于神经网络算法的无监督学习算法，与神经网络算法的不同之处是将输入值作为输出节点的输出。自编码算法的另一个特征是隐藏层节点的个数一般少于输入输出节点的个数，这样的意义是将输入的特征通过神经网络的非线性变换到节点数更少的隐藏层,因此可以通过自编码神经网络对给定的样本进行训练学习,从而得到输入数据降维后的特征即为隐藏层的节点数,省去了人工特征提取的麻烦。Auto-encoder网络结构包括输入层、隐含层和输出层,其输入层维数与输出层维数D相等。也就是说,Auto-encoder通过学习一个恒等函数, 实现样本特征的重新表述。那么,当设置隐含层神经元的数目小于D时,即可实现输入层到隐含层的数据降维。为了进一步提高网络的学习特征能力,受人类视觉系统多级信息处理机制启发,可通过增加隐含层,形成” 深度” 学习模型,提取样本更加本质的特征。传统的BP算法无法实现深度模型的学习, Auto-encoder深度模型一般采用无监督自我训练的限制玻尔兹曼机^[2]多级互连的深度堆叠结构和逐层训练、整体微调的训练方法^[3]，提出了一种用于自动提取特征的 Auto-encoder深度学习方法,通过构建具有很多隐层的深度学习模型对训练数据进行编码/解码学习,提取能够更加反映样本本质的高级抽象特征,保证在重构误差最小策略下实现数据降维,提升分类或预测的效率。目前, Auto-encoder方法已成为数据降维与高维特征提取领域的研究热点。李远豪^[4]将其应用于人脸特征提取中,取得了良好分类效果。他用深度自编码器编码网络提取人脸美丽特征，并用 SVM 分类器分类预测，预测的平均识别率为 77.3%. 可以看到，运用深度自编码器编码网络提取的特征作为人脸美丽特征是可行的，但自编码器训练学习是一个复杂过程，这项研究结果所学到的特征鲁棒性仍不太高，这也有待于后续深入研究。秦胜君等^[5]提出运用Auto-encoder自动提取文本特征, 通过实验分析了SEA算法中的隐含层单元数和DBN算法的微调次数对分类精度的影响，最后，将SD算法与支持向量机算法比较，得出结论在样本数较多的前提下，SD算法分类的效果要优于传统的支持向量机算法结果表明该方法，但是目前，并没有快速设置隐含单元个数的方法，只能通过经验以及不断地实验来寻找最优的隐含单元数目;王勇等^[6]将该方法应用于林火图像分类,结果显示其性能高于B P网络; 林洲汉^[7]将该方法用于高光谱图像特征提取，提出了一种基于像素邻域的主成分分量来提取空间信息的方法，并在此基础上融合光谱特征和这种空间特征，利用堆栈自动编码机-逻辑回归分类器进行空谱联合分类。实验表明，基于空谱联合的分类方法能够进一步超越支持向量机和之前基于光谱信息的分类方法，达到更高的分类精度。

2.自编码技术的研究现状

近年来深度学习框架和非监督学习方法越来越流行吸引了很多机器学习和人工智能领域研究者的兴趣。2006年Hinton等人^[8]提出了深度信任网络无监督学习算法,解决了深度学习模型优化困难的问题。该文章提供了两个方面的信息:一方面,深度神经网络具有优良的特征学习能力,学习得到的特征对数据更有本质的描述,有利于数据可视化或分类;另一方面,深度神经网络在训练上的困难可以通过”逐层初始化”来克服,逐层初始化可以通过无监督学习实现。2007年Y. Bengio等^[9]用无监督学习初始化每一层神经网络,提出了贪婪逐层无监督训练的方法。该方法策略主要是帮助优化,通过初始化权重接近良好的局部极小区域,带来更好的泛化性能。随后,Bengio又在此基础上,用底层到高层逐层贪婪无监督的方法在完成了对深度网络参数初始化之后,又将单层网络栈化为一个深度网络,用误差的反向传播算法(BP算法)对整个网络参数进行了微调。G Hinton给出了训练深度学习模型的相关技巧,尤其是受限玻尔兹曼机,许多用于传统神经网络的方法也可以用于深度信念网络(Deep Belief Networks,DBN)学习。此后,在对深度学习算法进一步的优化上,在初始化方法、网络层次的选择和激活函数的选择、模型结构、学习算法和实际应用等方面都取了许多新的研究进展^[10]。在对深度结构神经网络学习结果对初始值是否敏感的问题研究中,Erhan等^[11]发现:不同初始值在训练深度结构神经网络时会得到不同的局部极值;随机初始化和通过无监督预训练得到的模型最终学习参数差异比较大,用无监督预训练初始化的到模型参数比随机初始化得到的模型具有更好的泛化。从深度学习中的构造模块入手，主要研究自编码器的表达能力尤其是自编码器在数据降维方面的能力及其表达能力的稳定性。从深度学习的基础方法入手更好地理解深度学习，第一自编码器和限制玻尔兹曼机是深度学习方法中的两种构造模块，它们都可用作表达转换的途径也可看作相对较新的非线性降维方法。鉴于深度学习的理论意义和实际应用价值，国内对深度结构的研究尚处于起步阶段，这方面已经发表的文献相对较少而且多是侧重于应用领域，而国外已有综述文献 ，理论研究较成熟。

3. 自编码技术的问题

1.目前,学术界和产业界关于深度网络学习的争议主要是认为深度学习缺少足够的理论支撑依据。其一是否有其他更为有理论依据的深度模型学习算法;其二,深度网络的损失函数是一个非凸函数,而关于非凸最优化的理论太少。基于连续优化的策略能否用于有效改进深度学习的训练过程。

2.能否同时训练所有的深度结构神经网络层。

3.除了重构误差外，是否还存在其他更合适的可供选择的误差指标来控制深度结构神经网络的训练过程。

4. 未来需要研究训练深度结构神经网络的贪婪逐层预训练算法到底在最小化训练数据的似然函数方面结果如何，是否过于贪婪，以及除了贪婪逐层预训练的许多变形和半监督嵌入算法^[12]之外，还有什么其他形式的算法能得到深度结构神经网络的局部训练信息。