英语原文共 21 页，剩余内容已隐藏，支付完成后下载完整资料

---

摘要 在这篇文章里，我们提出了一种求解奇异非线性方程组的多点迭代LM算

法。这种算法是全局收敛的，研究得到在局部误差约束条件下的收敛阶比

雅可比矩阵在解处的非奇异性弱。

关键词 奇异非线性方程组 列文伯格-马夸尔特法（LM法） 切比雪夫法 局部误差界

1 介绍

我们考虑非线性方程组

(1)

其中 是连续可微的，是李普希茨连续的，在整篇文章中，我们假设（1）的解集是非空的并记作为X^*, 。在所有情况中，‖·‖表示2-范数。

有许多方法可以解非线性方程组（Kelley 1995，2003;Levenberg1944;Marquardt1963;More 1978；Yuan1998，2011） 牛顿法是最有效和最流行的。在每次迭代，计算

（2）

，和是雅可比矩阵。如果在解处是李普希茨连续的和非奇异的，牛顿法具有二次收敛性。

对于（1）也有许多其他的单点迭代的方法。例如，切比雪夫法每次迭代（阿吉罗斯和陈1993）计算

（3）

为了避免计算，埃兹奎罗和埃尔南德斯通过将不同的函数值合并起来近似它（埃兹奎罗和埃尔南德斯 2009）。令，其中pisin;（0，1]的常数。然后，

结合（3），可以得到修正后的切比雪夫法：

（4）

注意，当雅可比矩阵是奇异或者近似奇异，在（4）没有定义或者没有很好的被定义。为了克服可能的奇异性而造成的困难，列文伯格-马夸尔特法（LM法）对（1）每次迭代都计算步长

（5）

其中LM参数是负的，当近似于奇异时防止步长太大。这有关于LM法的广泛研究。例如，山下和福岛选择来证明LM法在局部误差条件下具有二阶收敛性比雅可比矩阵在解处的非奇异性要小。（山下和福岛2001），范和袁选择（[1,2]）来证明LM法保持二阶收敛性（范和袁2005）。在数值实验中，选择效果最好。

受修正的切比雪夫法和LM法启发，我们在这篇文章中构造了一个多点LM方法。在每次迭代中，我们首先解线性方程

， （6）

去获取步长，其中是从上一次迭代更新到下次迭代的。设，其中pisin;（0，1]。我们解

（7）

得到，设

（8）

上述多点LM法包括在范（2012）中提出的修正LM法在p=1时的特例。在整篇文章中，我们研究在局部误差约束条件下它的收敛性。

这篇文章结构如下：在第2章节，我们提出一种全局收敛的多点LM算法，该算法采用了信赖域技术。在第3章节，我们研究了和的性质和给出了算法在局部误差约束条件下的收敛性。最后，在第4章节给出一些数值结果。

1. 多点LM算法和全局收敛性

在这一节，我们提出一种多点LM算法。我们使用信赖域技术去证明算法的全局收敛性。

我们令

（9）

作为（1）的优化方程。定义第k次迭代的实际减少值为

预测的减少值需要是非负的。

注意，（6）中步长是凸最小化问题的最小值：

（10)

如果我们设

， （11）

可以证明是信赖域子问题的解：

s.t. (12)

根据鲍威尔（1975）给出的结果，我们知道

-ge; (13)

类似地，（7）步长是最小值：

， (14)

其中

显然，也是信赖域子问题的解：

s.t. le;=. (15)

所以，我们有

. (16)

基于（13）和（16），我们定义新的预测减少量为

. （17）

满足

. (18)

实际减少量于预测减少量之比

用于是否决定接受试验步骤和怎样调整参数。下面提出多点LM算法。

算法2.1

步骤1.给定，，，0lt;ple;1，k:=1.

步骤2.如果，则停止。解

, (19)

得到，设

计算

解

（20）

得到.

步骤3.计算 。设

（21）

步骤4.选择为

（22）

设k:=k 1,转到步骤2继续。

相比较修正后的切比雪夫法，算法2.1可以处理较差的条件和奇异非线性方程组。

为了研究算法2.1的全局收敛性，我们做如下假设。

假设2.1 F(x)是连续可微的，F(x)和他的雅可比矩阵J(x)是李普希茨连续的，这存在正常数和 使得

（23）

和 （24）

通过（23），我们有

（25）

然后，我们证明由算法2.1生成的序列收敛于优化方程的驻点。

定理2.1 在假设2.1的条件下，有限迭代终止或者满足

（26）

证明 我们用矛盾来证明。假设定理不正确，存在一个正数和无穷多个k使得

（27）

令，是如下指数的集合：

.

然后，是无限集合。下面我们推导出（27）中矛盾，无论是有限或者无限集合。

情形（I） 是有限集合。根据的定义，集合

是有限的。设k是 的最大指数。因此，适用于所有

定义指数集合

假设。很容易得到。而且，我们有。否则，如果，则，这与是的最大指数是矛盾的。因此，我们有。通过归纳，我们知道和适用于所有kgt;。

通过步骤3，对于所有kgt;都有，由于（19），这意味着

和 （28）

因此，我们得到

（29）

此外，它遵循（15）,(25)和（28）且存在一个正常数使

（30）

对于所有足够大的k成立。令 ，我们有

（31）

进一步，由（18），（24），（27），（30）和（31）可知

（32）

这意味着。针对的更新规则，我们知道存在一个正常数gt;m使得lt;适用于所有足够大的k，这与（28）矛盾。因此，当是有限的，（27）不正确。

情形（II）是无限的。由（18）和（24）可知

(33)

这表明

， （34）

然后，的定义可以得

， （35）

与(30)相似，存在一个正数使得

， （36）

适用于所有足够大的kisin;。通过（33），我们有

(37)

因此，我们由（33）可知

（38）

进一步由（23）和（24）可得

在（27）中，对于无穷多个k成立，存在一个足够大的使得和

通过归纳，我们可以看到适用于所有。然后，我们从（33）—（36）推出存在和

，， （39）

所以我们有

。 （40）

通过与（32）相同的论证，我们知道。因此，存在一个正常数gt;m使得lt; 适用于所有足够大的k，这与（40）矛盾。因此，当是无限的，假设（27）是不可能成立的。证明完毕。

1. 算法2.1的收敛速度

在本章节中，我们首先研究了步长和的性质。然后，我们证明参数是有界的。最后，我们推导出在局部误差约束条件下算法2.1的收敛速度。

我们做如下假设

假设3.1（a) F(x)是连续可微的，在isin;的某个领域上提供了一个局部误差界，且存在一个正常数gt;0和0lt;lt;1使得

ge;dist(x,),= (41)

(b)雅可比矩阵J(x)在上是李普希茨连续的，且存在一个正常数使得

le;，isin; （42）

如果雅可比矩阵在解处是非奇异的，则此解是孤立解，所以在解处提供了一个局部误差界。但是，反过来不一定正确。我们查阅了山下和福岛（2001）的例子。因此，局部误差约束条件比雅可比矩阵的非奇异性弱。

通过（42），我们有

le;，isin; （43）

而且，存在一个正常数使得

le;，isin; （44）

整篇文章中，我们用来表示向量满足

=dist （45）

3.1 和的性质

接下来，我们研究了，和distt之间的关系。

假设的奇异值分解为

(46)

其中=diag（）且。对应SVD是

（47）

其中=diag（（）且，和=diag（）且。为清楚起见，如果上下文是清晰的，我们忽略了和,中的k,把写作

=。 （48）

引理3.1 在假设3.1的条件下，如果，isin;，则存在一个常数gt;0使得

（49）

适用于所有足够大的k。

证明 isin;，我们有

lt;

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[255168]，资料为PDF文档或Word文档，PDF文档可免费转换为Word