基于粒子群算法的神经网络结构优化文献综述
2020-04-14 17:19:51
1.1目的及意义
粒子群算法 (PSO) 的基本思想是随机初始化一群没有体积没有质量的粒子, 将每个粒子视为优化问题的一个可行解, 粒子的好坏由一个事先设定的适应度函数来确定每个粒子将在可行解空间中运动, 并由一个速度变量决定其方向和距离。通常粒子将追随当前的最优粒子, 并经逐代搜索最后得到最优解。在每一代中, 粒子将跟踪两个极值:一个是粒子本身迄今为止找到的最优解, 每个粒子将在可行解空间中运动, 并由一个速度变量决定其方向和距离。通常粒子将追随当前的最优粒子, 并经逐代搜索最后得到最优解。在每一代中, 粒子将跟踪两个极值:一个是粒子本身迄今为止找到的最优解, 另一个是整个群体迄今为止找到的最优解。
应用PSO算法优化BP神经网络, 将网络中需调整的权值及待确定的偏差组成的矢量看作粒子, 通过粒子间的竞争与合作进行网络学习,避免大量梯度运算, 提高算法执行效率, 有效改进网络的收敛速度及学习效率等方面。
1.2现状分析
粒子群算法 (PSO) 由电子工程博士Eberhart和社会心理学博士Kennedy在国际神经网络会议上联合提出了PSO优化算法,该算法的思想来自对鸟群运动特征的研究。针对PSO算法对网络的权值进行优化的研究,国内外一些著名科研人员做了大量的工作。Hippert,Souz将带有学习因子的PSO算法用于神经网络网络的权值的训练,将传统BP神经网络、PSO-BP算法和遗传算法优化的神经网络分别应用于预测分类的研究中。结论指出,PSO算法是训练神经网络权值最简单、速度最快的方法。Caravlho,Ludermir等用PSO算法和遗传算法的混合算法GCPSO对BP神经网络进行训练,实验结果显示PSO优化算法提高了神经网络的优化能力。
{title}
2. 研究的基本内容与方案
{title}2.1基本内容:
对基本的粒子群算法进行一定的改进,通过引入非线性回归函数来提高生成的解的质量,同时也可以通过调整粒子的惯性权重的值来提高算法的搜索能力。在此之上应用此算法对神经网络进行优化,期望能够同时对网络大小以及网络参数进行优化。并用神经网络实现函数逼近,非线性系统的预测等,来探究具体的优化效果。
2.2技术方案: