一種三項CD共軛梯度法及其全局收斂性

李 燦，湯玲霞

(紅河學(xué)院數(shù)學(xué)學(xué)院，云南蒙自661199)

考慮無約束優(yōu)化問題［1］

其中f:Rn→R是連續(xù)可微函數(shù)，▽f(x)表示函數(shù)的梯度.經(jīng)典的共軛梯度法［2］求解問題(1)所產(chǎn)生的點列{xk}滿足如下的迭代格式

其中αk表示由線性搜索確定的步長，dk表示第k次迭代的搜索方向且迭代格式如下

其中βk為參數(shù).

2006年，Zhang等［3］對BFGS算法的搜索方向進(jìn)行了深入分析，并與經(jīng)典共軛梯度法的搜索方向進(jìn)行了對比分析，由此提出了一種下降型PRP共軛梯度法，其搜索方向的迭代格式如下

1 算法

下面提出三項CD共軛梯度法，其搜索方向dk表示如下

其中

將 βk，ηk代入上式，便有 ▽f(xk)Τdk=－2‖▽f(xk)‖2.綜上所述，

因此該搜索方向dk具有充分下降性.

在上面的基礎(chǔ)上，我們提出求解(1)的一種三項CD共軛梯度法，其步驟如下:

步驟3.由強(qiáng)Wolfe型線性搜索

確定步長αk;

步驟4.令xk+1=xk+αkdk;

步驟5.由(4)確定dk+1，令k:=k+1，轉(zhuǎn)步驟2.

2 算法的全局收斂性

本節(jié)證明三項CD共軛梯度法在下列假設(shè)下具有全局收斂性.

假設(shè)1

(b)在Ε的領(lǐng)域Β內(nèi)，目標(biāo)函數(shù)f連續(xù)可微有下界，且其梯度▽f是Lipschitz連續(xù)的，即存在常數(shù)L＞0，使得

引理1若假設(shè)1成立，點列{xk}由三項CD共軛梯度法產(chǎn)生，則

另一方面，由Lipschitz條件(7)有

則有‖▽f(xk+1)－▽f(xk)‖·‖dk‖≤Lαk‖dk‖2，于是

由(9)，(10)可得

即

進(jìn)一步，綜合強(qiáng)Wolfe線性搜索條件(6)和(11)有

上述不等式兩邊對k求和，并注意f(xk)有界，則有

從而

結(jié)合(5)，不難推出下面的引理:

引理2若假設(shè)1成立，點列{xk}由三項CD共軛梯度法產(chǎn)生，則

定理1若假設(shè)1成立，點列{xk}由三項CD共軛梯度法產(chǎn)生，則

證明 由搜索方向dk的迭代格式(4)有

將ηk代入，可以推出ηkyk－1的表達(dá)式

然后再將(15)代入(14)，進(jìn)一步得到‖dk‖2的表達(dá)式

化簡后

將βk代入，可以得到

即有

［1］陳寶林.最優(yōu)化理論與算法［M］.北京:清華大學(xué)出版社，2004.

［2］李董輝，童小嬌，萬中.數(shù)值最優(yōu)化［M］.北京:科學(xué)出版社，2005.

［3］Zhang L，Zhou W，Li D.A descent modified Polak－Ribiere－Polyak conjugate gradient method and its global convergence［J］.IMA Journal of Numerical Analysis，2006，(4):629－640.

［4］Andrei N.On three－term conjugate gradient algorithms for unconstrained optimization［J］.Applied Mathematics and Computation，2013，(11):6316－6327.

［5］Al－Bayati A Y，Sharif W H.A new three－term conjugate gradient method for unconstrained optimization［J］.Canadian Journal on Science and Engineering Mathematics，2010，(5):108－124.

［6］Narushima Y，Yabe H，F(xiàn)ord J A.A three－term conjugate gradient method with sufficient descent property for unconstrained optimization［J］.SIAM Journal on Optimization，2011，(1):212–230.

［7］Zhang L，Zhou W，Li D.Some descent three－term conjugate gradient methods and their global convergence［J］.Optimization Methods and Software，2007，(4):697–711.