论文总字数：20880字

摘 要

本文基于深度神经网络的万有逼近性质及有效的参数学习算法，将物理方程的求解和学习归结为一个从观测噪声数据估计神经网络参数的过程，借助于自动微分技术和L-BFGS（Limited-memory BFGS）优化算法，给定系统的初值与边界条件，以及部分含噪声观测数据，在第三，四章主要解决了两类问题：数据驱动的偏微分方程求解，数据驱动的偏微分方程学习。

在第五章，主要对“如何从空间和时间的散乱数据中，学习用偏微分方程表示的物理世界的封闭形式的数学模型。”进行了研究。提出了一种解决方法，不同于上述第二类问题，我们将目光放在了非线性算子的学习与识别上。

同时本文也对提出方法的有效性进行了测试，并演示了所提出的框架如何准确地识别系统的动力学方程和预测系统的未来状态。特别的，本文主要研究了伯格斯方程。

关键词：物理信息神经网络 机器学习 预测模型 非线性动力学 系统识别

A deep learning framework for Learning and solving differential equations

Abstract

Based on the depth of universal approximation property of neural network and the effective parameter learning algorithm, the solution and discovery of the physical equation are summarized as a process which estimate the parameters of the neural network from the observed noise data. By means of Automatic Differentiation and optimization algorithm L-FGBS (Limited-memory BFGS), given the initial values and boundary conditions of the system, as well as some noisy observations, we mainly solve two kinds of problems in the third and fourth chapters: solving partial differential equations driven by data, and discovering partial differential equations driven by data.

In chapter five, what we learnt is how to discover closed form mathematical models of the physical world expressed by partial differential equations from scattered data collected in space and time. we propose a method to solve the problem. Different from the second problem, we focus on the recognition of the nonlinear operator.

At the same time, the validity of the method is tested and the proposed framework is demonstrated to accurately identify the dynamic equations of the system and predict the future state of the system.

In particular, this paper mainly studies the burger’s equation.

Key words: Physical information neural network; Machine learning; Prediction- model; Non-linear dynamics; System identification

目录

摘　要 Ⅰ

Abstract Ⅱ

第一章 绪论 1

1.1研究背景 1

1.2研究现状 1

1.3研究意义 2

1.4本文工作 2

第二章 自动微分技术简介 4

2.1手动求解法 4

2.2数值微分法 4

2.3符号微分法 4

2.4自动微分法 4

第三章 基于前馈神经网络的偏微分方程求解 7

3.1基本原理 7

3.2训练神经网络 8

3.3 L-BFGS算法简介 9

3.4实例：伯格斯方程求解 10

3.5模型补充 14

第四章 基于前馈神经网络的偏微分方程学习 15

4.1基本原理 15

4.2实例：一维伯格斯方程的学习 16

第五章 问题推广 19

5.1问题介绍 20

5.2基本原理 22

5.3实例：一维空间识别伯格斯方程 23

第六章 结论 27

参考文献 28

致谢 30

第一章 绪论

1.1研究背景

一直以来，求解高维偏微分方程是一项极其困难的任务，在以往的研究中，通过机器学习，可以从大量观测数据中学习传统的物理方程模型和方程的求解。但是传统的机器学习对于求解非线性微分方程存在着各种不足。例如：数据量过大，数据采集成本高，计算效率低下等。

但是在许多与物理相关的偏微分方程中，有大量的先验知识没有被利用，如支配系统随时间变化的动力学的的物理定律，或一些经验验证的规则，这些先验信息都可以考虑到一个学习算法中，结果是放大了算法所看到的数据的信息内容。即使只有很少的训练数据可用，也能很好地进行优化。

因此需要寻找一个更好的办法来解决这些问题。深度学习中多层神经网络通过使用简单函数组合逼近任意复杂函数，并成功应用在复杂数据建模领域。但是如何将这些先验信息编码到深度学习框架下，这是值得思考的问题。所以，对深度学习框架下求解微分方程的研究是必要的。

1.2研究现状

有研究[1-3]已经展示了利用结构化的先验信息构建数据效率高、物理知识丰富的学习机器的前景。

在[1-3]的研究中，它展示了利用结构化先验信息构建高效数据和物理学习机器的前景。作者使用高斯过程回归来设计函数表示给定的线性算子。并能精确地推导出数学物理中几个原型问题的解，并提供不确定性估计。Raissi等人在随后的研究中提出了对非线性问题的扩展。尽管高斯过程在编码先验信息方面具有灵活性和数学上的优雅性，但在非线性问题的处理上存在两个重要的局限性。首先，在[5,6]中，作者必须在时间上局部线性化任何非线性项从而限制了所提出方法对离散时间域的适用性，并降低了它们在强非线性区域中的预测精度。其次，高斯过程回归的贝叶斯性质需要一定的先验假设，这可能会限制模型的表示能力，导致稳定性问题，特别是对于非线性问题[7]。

1.3研究意义

请支付后下载全文，论文总字数：20880字