一個新的PRP共軛梯度法的全局收斂性

一個新的PRP共軛梯度法的全局收斂性

周 雪 琴

(貴州師范大學 數(shù)學與計算機科學學院，貴陽 550001)

摘要：提出了一個不依賴線搜索且具有充分下降性的新的共軛梯度法(ZPRP法)，并證明了ZPRP方法在強Wolfe搜索條件下全局收斂.

關鍵詞：共軛梯度法；充分下降性；強Wolfe線搜索；全局收斂性

doi:10.16055/j.issn.1672-058X.2015.0011.007

收稿日期：2015-05-08；修回日期：2015-06-18.

作者簡介：周雪琴(1990-)，女，貴州銅仁人，碩士研究生，從事數(shù)值線性代數(shù)研究.

中圖分類號：O224文獻標志碼：A

1基礎知識

非線性共軛梯度法常用來解決下面的無限制優(yōu)化問題：

(1)

其中，f(x)：Rn→R是連續(xù)可微函數(shù)，g(x)表示目標函數(shù)f(x)的梯度.求解問題的共軛梯度法的一般迭代格式為

(2)

其中，αk是迭代步長且αk>0，dk是搜索方向，xk+1是當前迭代點.搜索方向dk由公式(3)確定：

(3)

其中，βk是一個標量，gk表示g(xk).

根據(jù)βk的選取方式不同，將其分為不同的共軛梯度法.這里有一些比較著名的βk公式，比如

(4)

(5)

其中，0<δ≤σ<1.

Dai在文獻[8]中提出了一個修正的PRP方法(記作DPRP方法)，參數(shù)βk定義如下：

(6)

并且證明了DPRP方法不依賴線搜索具有充分下降性，且對Armijo線搜索和Wolfe線搜索具有全局收斂性．

Huang在文獻[9]中也提出了一種修正的共軛梯度法(記作new方法)，參數(shù)βk定義如下：

(7)

并且證明了這個新的方法在強Wolfe搜索條件下是是全局收斂的.

受到Dai和Huang二人的啟發(fā)，現(xiàn)提出一種新的共軛梯度法(記作ZPRP方法)，參數(shù)βk定義如下：

(8)

其中μ>1.下面將證明新的ZPRP方法具有不依賴于線搜索的充分下降性，并在強Wolfe搜索準則下是全局收斂的.

2算法

算法1(采用強Wolfe搜索準則的ZPRP算法)

Step 1計算滿足強Wolfe條件的αk；

Step 3用式(8)和式(3)分別計算βk和dk+1；

Step 4置k=k+1，轉Step1.

3算法的收斂性

假設2f在Ω的一個鄰域N內(nèi)是連續(xù)可微的，且它的梯度g是Lipschitz連續(xù)的，即存在一個常數(shù)L>0，使得

所以引理1結論得證.

證明由dk的表達式(3)可知

由此引理2結論得證.

由文獻中[10]的定理2可以直接得到定理1.

參考文獻：

[1] FLETCHER R，REEVES. Function Minimization by Conjugate Gradients[J]. Comput J，1964，7(2)：149-154

[3] POLYAK T B.The Conjugate Gradient Method in Extremal Problems*1[J]. USSR Computational Mathematics and Mathematical Physics，1969(4)：94-112

[4] HESTENES M R，STIEFEL E L. Methods of Conjugate Gradients for Solving Linear Systems[J]. Journal of Research of the National Bureau of Standards，1952，49(6)：409-436

[5] LIU Y，STOREY C. Efficient Generalized Conjugate Gradient Algorithms，Part 1： Theory[J]. Journal of Optimization Theory & Applications，1991，69(1)：129-137

[6] FLETCHER R. Practical Methods of Optimization[M]. A Wiley Interscience Publication，1987

[7] DAI H Y，YUAN Y. A Nonlinear Conjugate Gradient Method with a Strong Global Convergence Property[J]. Siam J Optim，1999，10(1)：177-182

[8] DAI Z，WEN F. Another Improved Wei-yao-liu Nonlinear Conjugate Gradient Method with Sufficient Descent Property[J]. Applied Mathematics & Computation，2012(14)：7421-7430

[9] ZHANG Y，ZHENG H，ZHANG C. Global Convergence of a Modified PRP Conjugate Gradient Method[J]. 數(shù)學研究與評論，2010，30(1)：141-148

[10] GILBERT J C，NOCEDAL J. Global Convergence Properties of Conjugate Gradient Methods for Optimization[J]. Siam Journal on Optimization，1992(2)：387-395

A New PRP Conjugate Gradient Method with Global Convergence

ZHOU Xue-qin

(College of Mathematics and Computer Science，Guizhou Normal University，Guizhou Guiyang 550001，China)

Abstract：In this paper，a new PRP conjugate gradient method (ZPRP) satisfying the sufficient decent condition without any line searches is proposed，and the global convergence of ZPRP with the strong Wolfe line search is proved.

Key words： conjugate gradient method; sufficient decent property; the strong Wolfe line search; global convergence