摘 要

时序学习是人工智能的基础，在认知心理学中，它是人类所固有的能力。时序信息存在于人类各种日常任务中，如握笔写字、打篮球、骑自行车等。为了完成这些复杂的动作，大脑必须能够根据来自运动中枢的运动指令预测肢体的响应。人类的大多数运动任务都可以描述成动力学系统的时序变化行为，本文在新近研究的基础上，提出了一种改进后的正向预测模型，可以高效的实现线性、非线性、混沌动力学系统时序变化行为的学习和预测，并且具有生物合理性。

具体而言，主要工作如下：

本文首先构建了漏整合-发放神经元模型和化学突触模型，利用MATLAB分别对其进行仿真，分析模型所表现出来的性质与参数之间的关系。然后以漏整合-发放神经元模型和化学突触模型为基本单元构建了改进后的正向预测模型的网络结构，基于此网络结构，我们利用一种改进的局域、在线的学习规则去训练递归脉冲神经网络中的突触权值。为了在理论上证明新模型的正确性，本文利用李雅普诺夫方法和巴巴拉特引理证明该模型是稳定的并且误差渐进为零。最后利用基于Python的Nengo平台编写仿真程序进行仿真，从结果来看，本文提出的新模型可以实现线性、非线性、混沌动力学系统时序变化行为的学习和预测。与Aditya Gilra和Wulfram Gerstner 2017年发表在Elife上的工作相比，在实现相同任务的情况下，本文所需的运行时间缩短1.68倍，均方误差由0.5264降低到0.4104，并且在递归脉冲神经网络内部，本文所使用的化学突触模型更具有生物合理性。与Wilten Nicola和Claudia Clopath 2017年发表在Nature Communications上的工作相比，本文所使用的突触权值的修改算法是局域的且符合生物学中突触权值修改较为缓慢这一现象，具有生物合理性。

本文所提出的新模型具有高效性和生物合理性，它或许可以解释大脑中时序信息学习的机理。另外，本文在混沌系统的预测、工作记忆与长时记忆的研究、语音识别与运动序列学习等方面有很大的应用前景。

关键词：脉冲神经网络；正向预测模型；时序学习；混沌系统

Abstract

Temporal sequence learning is the basis of AI, in cognitive psychology, it is inherent to human ability. The information of temporal sequence are used in various everyday tasks, such as holding a pen and writing, playing basketball, riding a bike. To complete these complicated actions, the brain needs to predict how the body reacts to motor commands which comes from motor center. Most motor tasks can be described as kinetic system’s timing change behavior, This paper presents an improved forward predictive model upon recent advances, it is efficient and biological plausible and it can learn and predict linear, non-linear, chaotic dynamical system’s timing change behavior.

Specifically, the main work as follows:

Firstly, we build the model of leaky integrate and fire neuron and chemical synapse, we use MATLAB to simulate them respectively and analyse the relationship between model properties and parameters. Then, we use these two models to build the network structure of improved forward predictive model, based on it, we use a local, online and stable learning rule to train the synapse strengths in recurrent spiking neural network. To prove our model is correct in theory, we use Lyapunov method and barbǎlat’s lemma to prove that our model is stable and the error going to zero asymptotically. Finally, we use Nengo platform to simulate it, and the results show that the model we proposed can learn and predict linear, non-linear, chaotic dynamical system’s timing change behavior. Compared with the work published on Elife by Aditya Gilra and Wulfram Gerstner in 2017. In the case of the same task, in our paper, the running time is reduced by 1.68 times, the mean square error is reduced from 0.5264 to 0.4104, what’s more, we use the chemical synaptic model, which is more biological plausible. Compared with the work published on Nature Communications by Wilten Nicola and Claudia Clopath in 2017. The modified algorithm of synaptic weight used in this paper is local and accords with the phenomenon of slow modification of synaptic weight in biology, so it is more biological plausible.

The model proposed in this paper is efficient and biological plausible, it may explain the mechanism of learning temporal change behavior in brain. In addition, this paper has great application prospects in the research of predicting chaotic system, working memory and long-term memory, speech recognition and motion sequence learning.

Key Words: SNN; Forward predictive model; Temporal sequence learning; Chaotic system

目录

第1章 绪论 1

1.1研究背景及意义 1

1.2国内外研究现状及发展趋势 1

1.3本文研究的主要内容 2

1.4论文的组织结构 3

第2章 神经系统的基本特性与性质 4

2.1神经系统的基本特征 4

2.1.1神经系统的组成 4

2.1.2神经元信息处理机制 4

2.2神经元动力学仿真 5

2.2.1霍奇金-赫胥黎神经元模型 5

2.2.2整合-发放神经元模型 7

2.3神经元突触模型 9

2.3.1电突触模型 9

2.3.2化学突触模型 9

2.4神经元突触可塑性 11

2.5本章小结 12

第3章 模型设计及稳定性证明 13

3.1神经网络结构的设计 13

3.2局域学习算法的设计 15

3.3局域学习算法的稳定性证明及推导 17

3.4证明误差渐进为零 22

3.5本章小结 22

第4章 仿真参数的设置及结果分析 24

4.1仿真参数的设置 24

4.1.1可塑性突触权值的初始化及修正 24

4.1.2神经元参数及编码权值的设置 24

4.1.3解码权值的设置 25

4.1.4运动指令的设置 25

4.1.5参考的动力学系统的方程及参数 26

4.2仿真结果及分析 27

4.2.1线性衰减振荡系统的学习 28

4.2.2 Van der pol振荡系统的学习 32

4.2.3 洛伦茨系统的学习 35

4.3新模型的优势 37

4.4本章小结 38

第5章 总结与展望 39

5.1研究成果总结 39

5.2展望 40

参考文献 41

附录A 模型仿真程序 44

附录B 附加图 49

致谢 51

第1章 绪论

1.1研究背景及意义

人工智能学科自诞生以来，其长期的探索目标便是实现人类水平的智能。虽然经历了60余年的发展，但是目前还没有一个智能系统能与大脑相媲美。即具有协同多种不同认知的能力，对新事物具备有自主学习能力，对复杂环境具备极强的自适应能力等^[1]。

2016年3月，AlphaGO与韩国职业围棋选手李世石之间的世纪围棋大战引起了人们对人工智能的高度关注。计算机程序在一个公认的十分复杂的智力和计算任务中，靠类脑与非类脑的计算与智能，即深度神经网络训练与蒙特卡洛模拟的完美结合，打败了人类顶尖的选手^[2][3]。虽然在常人看来它已经足够智能，但基于深度神经网络（Deep Neural Network,DNN）的智能系统与大脑相比仍然有一系列的缺点。首先，其能耗大，深度学习系统AlphaGO的功率为280000瓦特，约为人脑功率的14000倍（成年人大脑功率约为20瓦特）。巨大能耗使系统不能向微型化的方向发展，因为难以散热^[2]。其次，通用性差，基于深度学习的智能系统只能为特定的任务设计，相关理论、算法难以推广到其他领域。正如最初探索人工神经网络一样，人类将紧密结合脑科学、神经科学、计算机科学来指引新型智能系统的设计与优化。很多人认为，这一方向的实质性进展也许能够真正开启智能化革命的序幕^[4]。

1.2国内外研究现状及发展趋势

人工智能的探索最早可追溯到图灵^[5],在人工智能学科的萌芽期，图灵就对其寄予了很高的期望，他希望机器能像人一样去思考。2006年Hinton等人提出的深度学习让人工智能有了突破性的进展^[6]，2016年深度学习系统AlphaGo的诞生将人工智能推向风口浪尖，但张钹院士在题为《AI和神经科学》的报告中指出，深度学习并没有触及到人工智能的核心，若要实现真正的人工智能，我们还需要与神经科学合作。

在过去近60年中，传统的人工神经网络得到了快速的发展，但基于脉冲的发放频率进行编码的传统人工神经网络存在很多的弊端，使其面临两个严重的发展瓶颈：一是训练时能耗过高，二是难以支撑高水平的智能。神经科学中发现大脑中神经元的信息交流是通过脉冲（Spikes）来实现的，基于这一重大的发现，第三代神经网络即脉冲神经网络（Spiking Neural Network,SNN）应运而生。脉冲神经网络中的神经元更加接近生物神经元模型，最重要的是它可以处理时间信息。论文^[7]中指出，它具有更强的计算潜力和生物基础，但是目前没有一个通用的优秀学习算法来对脉冲神经网络进行训练，还有待于进一步开发。

虽然脉冲神经网络的离散和不可微性给学习算法的设计带来了很大的困难，但是仍然有很多研究人员做了大量的尝试，下面我们主要讲述其在时序学习方面的工作进展。2009年David Sussillo和L.F.Abbott在论文^[8]中提出了强制学习（FORCE learning）算法并用来训练基于放电率编码的脉冲神经网络，训练完成后的网络具有产生多种复杂的输出模式、带有记忆的输入-输出的转换等功能。2010年Filip Ponulak和Andrzej Kasinski 在论文^[9]中用一种有监督学习算法ReSuMe来训练脉冲神经网络使其完成序列学习，分类等任务。同年Ralph Bourdoukan和Sophie Denève 在论文^[10]中提出在保持脉冲神经网络中的兴奋抑制平衡的条件下用一种局域有监督学习算法来训练脉冲神经网络，可以实现对线性动力学系统时序变化行为的学习和预测。2017年Aditya Gilra和Wulfram Gerstne在论文^[11]中提出用一种局域在线的学习算法来训练脉冲神经网络，使其实现对非线性动力学系统时序变化行为的学习和预测。同年5月Sophie Denève 和Alireza Alemi在论文^[12][13]中提出在保持脉冲神经网络中的兴奋抑制平衡的条件下，可以通过一种局域的学习算法来实现对非线性动力学系统时序变化行为的高效学习,但是该模型仅处在设想阶段，没有可靠的结果来证实其正确性。2017年12月，Wilten Nicola和Claudia Clopath在论文^[14]中展示了关于强制学习（FORCE learning）的后续工作，它们成功的将强制学习用于训练基于脉冲编码的神经网络，可以实现动力学系统时序变化行为的学习、对输入进行分类、存储离散的时间序列（鸟鸣的频谱图、电影场景）。

随着类脑计算在世界范围内的兴起，国内也掀起了研究热潮。中国科学院自动化研究所于2015年成立类脑智能研究中心，旨在融合神经科学、计算机科学等多学科的优势来研究并设计新型的智能系统，为实现强人工智能而不断努力探索。

1.3本文研究的主要内容

人类在生活中可以快速并高效的完成许多任务，例如抓住一支笔并用其写字、用筷子夹菜、骑自行车、打篮球等。这些任务在人工智能领域称之为时间序列学习，时序学习是人工智能的基础，它在人类意识形成和认知行为中起着重要的作用。目前，实现时序学习任务的主流方法有三种：基于人工神经网络的储水池计算^[17]，基于脉冲神经网络的强制学习^[8][14]和基于脉冲的预测编码网络^{[10][11][12][13]}。由于人工神经网络存在许多弊端且强制学习不具备生物合理性，从脑启发的观点出发，本文工作围绕基于脉冲的预测编码网络展开。

为了快速并高效的完成上述任务，大脑需要学习一种正向预测模型（Forward Predictive Models）^[15]来预测我们的身体如何对大脑运动区域中神经元的活动作出反应。人类大多数的感知和运动任务都可以被描述为一个线性或非线性动力学系统的时序变化行为^[13]。在给定命令输入的情况下，利用有监督学习算法来训练基于脉冲编码的脉冲神经网络来产生或预测线性动力学系统时序变化行为已经比较成熟。然而产生或预测非线性动力学系统的时序变化行为是一个公认的难题^[16]。本文在新近研究^{[10][11][12][13]}的基础之上，提出了一种改进的正向预测模型，该模型更具生物合理性且更高效，可以实现对线性动力学系统、非线性动力学系统、混沌动力学系统时序变化行为的学习和预测。

1.4论文的组织结构

本文一共分为五章，每章内容如下：

第一章：绪论。主要介绍了基于脑启发的神经网络时序学习算法与应用研究的研究背景及意义、国内外研究现状与发展趋势以及本文的主要研究内容及文章组织结构。

第二章：神经系统的基本特性与性质。简单介绍了神经科学上的一些基本知识，重点

介绍了H-H经元模型、LIF神经元模型、电突触模型和化学突触模型，为下一章中脉冲递归神经网络的建模打下基础。

第三章：模型的设计及稳定性证明。主要介绍了所设计的脉冲递归神经网络的结构及训练算法，并利用严格的数学推导证明该模型是稳定的，即误差收敛且最后趋于零，从理论上证明了该模型的正确性。

第四章：仿真参数的设置及结果分析。主要介绍了模型仿真参数的设置方法并给出了仿真的具体参数；利用基于Python编程的Nengo平台编写仿真程序并进行仿真，对得到的结果进行详细的分析。

第五章：总结与展望。总结本文的主要研究成果并指出了今后要做的一些工作，最后表达了自己对人工智能时代的憧憬之情。

第2章 神经系统的基本特性与性质

2.1神经系统的基本特征

神经系统（Nervous System）是人体内的八大系统之一，对人体的生命活动的调节起重要作用并且与人类高水平的智慧和复杂的意识活动相关。神经系统的功能为接收整个机体的的信息，然后对其进行整合，有的信息被传递到运动中枢中去控制肢体的运动，有的则被存储起来，成为学习和记忆的基础^[18]。神经系统赋予人类思维能力，这是其最有意义的功能。

2.1.1神经系统的组成

神经系统主要由神经元和神经胶质细胞组成^[18]。如图2.1所示，神经元的结构一般可以分为胞体和突起。跟身体内的大多数细胞一样，神经元的胞体也由细胞核，细胞质，细胞膜等结构组成^[19]，它的突起是最明显的形态特征，突起可以分为两部分：轴突和树突。树突主要用来接收来自其他神经元的信号，而轴突则将信号传递给大脑中不同区域的神经元^[20]。

图2.1 神经元的结构

2.1.2神经元信息处理机制

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：