一種基于新共軛梯度方法的滑動平均模型參數(shù)估計優(yōu)化法

(燕山大學(xué)理學(xué)院 河北 秦皇島 066004)

一種基于新共軛梯度方法的滑動平均模型參數(shù)估計優(yōu)化法

王美霞

(燕山大學(xué)理學(xué)院河北秦皇島066004)

基于非線性規(guī)劃的共軛思想，結(jié)合不同的共軛梯度法的優(yōu)勢，給出新的參數(shù)標(biāo)量以及搜索方向，從而提出一種改進的共軛梯度法，并給出全局收斂性的證明?？紤]將模型參數(shù)估計轉(zhuǎn)換成無約束優(yōu)化問題，然后利用改進的共軛梯度法來修正原始的ARMA(p,q)模型的參數(shù)估計值，從而提高模型的預(yù)測精度，并給出數(shù)值算例，來驗證改進方法的有效性。

非線性規(guī)劃；共軛梯度法；全局收斂性；ARMA(p,q)模型；參數(shù)估計

在時間序列的統(tǒng)計分析中，平穩(wěn)時間序列是一類重要的隨機序列，最常用的就是ARMA(p,q)模型，全稱是自回歸移動平均模型，簡單記為ARMA(p,q)模型[1]是目前最常用的擬合平穩(wěn)序列的模型。1927年，英國統(tǒng)計學(xué)家G.U.Yule首先提出自回歸(autoregressive，AR)模型[2]。 1970年，Box與Jenkins聯(lián)合發(fā)表了專著《時間序列分析：預(yù)測和控制》[3]對時間序列方法以及應(yīng)用做了系統(tǒng)并且深入的論述。2003年，針對參數(shù)問題，熊淵博[4]提出了對ARMA(p,q)模型的參數(shù)進行分步估計的方法，此方法通過對AR(p)模型的兩次估計來達(dá)成ARMA(p,q)模型的參數(shù)估計，再利用實例證明該方法的有效性；2009年，范菁[5]針對如何提高模型的擬合精度的問題，提出了三參數(shù)共軛梯度法，該方法是在原始共軛梯度法的原理上引入?yún)?shù)標(biāo)量來確保迭代步長不小于零；同一年，鄭彩萍[6]等人將非線性時序模型的參數(shù)估計法中融入了阻尼最小二乘法，提出了對于原始模型的參系數(shù)的改進方法，通過對t統(tǒng)計量的求解來驗證改進方法的有效性。

本文在現(xiàn)有文獻的基礎(chǔ)上，結(jié)合非線性規(guī)劃中的共軛思想，優(yōu)化ARMA(p,q)模型中的參數(shù)估計，提出一種新的共軛梯度法：MHS-DY法。

一、MHS-DY法

(一)共軛梯度法

對于無約束優(yōu)化問題

minf(x),x∈Rn

(1)

函數(shù)f:Rn→R1是連續(xù)可微的。

共軛梯度法是介于最速下降法與牛頓法之間的一種方法，不僅避免了最速下降法收斂速度慢的缺點，還克服了牛頓法求海賽矩陣的不足，還具有二次終止性，因此在求解上述無約束優(yōu)化問題時，共軛梯度法更為合適，此方法尤其適合求解維數(shù)n較大的問題。主要迭代格式如下所示：

xk+1=xk+αkdk

(2)

其中，αk為步長因子。dk為下降搜索方向。βk為標(biāo)量，標(biāo)量參數(shù)不同產(chǎn)生的共軛梯度法不同。 常見的共軛梯度法算法有：FR算法，DY算法，HS算法，PRP算法。其中，F(xiàn)R算法與DY算法收斂性較好，但是數(shù)值表現(xiàn)并沒有HS和PRP算法好，文獻[5]提出使參數(shù)的標(biāo)量滿足：

(3)

將該方法記為MHS算法，本文將結(jié)合MHS算法以及DY算法的優(yōu)越之處構(gòu)造出一種新的組合優(yōu)化方法即MHS-DY法。

(二)MHS-DY法

針對前文中提到的無約束優(yōu)化問題(1)，引用文獻[5]中提到的含參數(shù)的共軛梯度法思想，公式(3)作為參數(shù)標(biāo)量，再結(jié)合DY算法的全局收斂性優(yōu)勢，提出MHS-DY法：

(4)

其中

保證搜索方向為下降方向，綜合考慮搜索方向：

(5)

式中，dk滿足下降方向，并且不依賴任何線搜索。

二、基于新MHS-DY法的模型參數(shù)優(yōu)化算法

(一)目標(biāo)函數(shù)的確定

ARMA(p,q)模型結(jié)構(gòu)為：

Xt-φ1Xt-1-...-φpXt-p=εt-θ1εt-1-...-θqεt-q

移項

Xt=φ1Xt-1+…+φpXt-p+εt-θ1εt-1-…-θqεt-q

記為

其中

ω=[φ1，φ2，…φp,-θ1,-θ2,…-θq]T

考慮到ARMA(p,q)模型中Xt與ω之間是非線性關(guān)系，定義目標(biāo)函數(shù)為模型的殘差平方和：

(6)

由無約束優(yōu)化理論的數(shù)學(xué)模型得知，估計模型的參數(shù)ω的問題就轉(zhuǎn)變成求使得S(ω)達(dá)到極小值的最優(yōu)解ω*。

(二)初值的確定

本文采取的是AP(p0)長自回歸模型，其計算原理是：以模型的等價系統(tǒng)傳遞函數(shù)為入手點，同時將逆函數(shù)的概念加入其中，并運用待定系數(shù)法得到如下公式：

(7)

(8)

(9)

(三)參數(shù)估計步驟

1)對于ARMA(p,q)模型，令p+q=m，參數(shù)初值結(jié)構(gòu)如下：

(10)

(11)

其中，

(12)

(13)

記為矩陣形式如下：

(14)

因此S0=S(ω0)，初始搜索方向d0=-g0，令k=0。

3)如果‖gk+1‖<ε，那么ωk+1就是極小值點，否則，進行下一步。

4)若k=p，則ω0=ωk+1,S0=Sk+1,g0=gk+1,d0=-g0,k=0，然后轉(zhuǎn)向2)；否則，轉(zhuǎn)向5)。

6)若(dk+1)Tgk+1≥0，則重復(fù)操作4)，轉(zhuǎn)向2)；否則，k=k+1，轉(zhuǎn)向2)。

三、收斂性分析

假設(shè)：(1)水平集Ω={∈Rn|f(x)≤f(x0)}有界。

(2)函數(shù)f在Ω的某個鄰域Φ內(nèi)連續(xù)可微，并且g(x)滿足利普希茨連續(xù)條件，即?L>0，使得下式成立：

‖g(x1)-g(x2)‖≤L‖x1-x2‖,?x1,x2∈Φ

(15)

(16)

用反證法證明上述定理如下：

證明：假設(shè)結(jié)論不成立。已知?k>0,?ε>0,ε為常數(shù)，使(17)式成立

‖lk‖≥ε

(17)

由

(18)

(19)

由此得出：

(20)

四、實例分析

MHS-DY算法經(jīng)數(shù)值算例證實其在求解無約束問題時同樣保持了良好的數(shù)值結(jié)果及收斂性，可將ARMA(p,q)模型的參數(shù)優(yōu)化問題轉(zhuǎn)換成無約束優(yōu)化問題進一步求解，本文引用文獻[5]中的算例(數(shù)據(jù)如表1所示)進一步檢驗本文算法的實用性。前100個數(shù)據(jù)用于模型的預(yù)測，101～103用于模型檢驗，利用MHS-DY算法對ARMA(1,1)模型進行參數(shù)估計，此時，初值β0=(1,0.5)，令δ=0.01，σ=0.1，同時利用Matlab[12]軟件做編程，經(jīng)過五次迭代后結(jié)果如下：

ω5=(0.8673,0.4898)T

模型結(jié)構(gòu)為：

xt=0.8673xt-1+εt-0.4898εt-1

利用MHS-DY算法改進后的參數(shù)模型預(yù)測結(jié)果見表2

表1 平穩(wěn)序列

表2 預(yù)測結(jié)果對比

注：n 的值表示平穩(wěn)序列中第n個數(shù)。

五、結(jié)論

本文的核心思想是將模型的參數(shù)估計問題轉(zhuǎn)換成無約束優(yōu)化問題進行研究，參考文獻[5]的思想上提出了一種新的共軛梯度法MHS-DY算法并運用該算法優(yōu)化ARMA(p,q)模型參數(shù)，詳細(xì)的證明了此方法具有全局收斂性以及充分下降性。最后，用實例進行驗證分析，結(jié)果表明優(yōu)化后的模型有更好的擬合效果。

[1]王燕.應(yīng)用時間序列分析[M].北京:中國人民大學(xué)出版社,2005.145-147.

[2]S.Andreas.Weigend and A.Neil Gershenfeld.Time Series Prediction:Forecasting the future and Understanding the Past,eds.Reading,MA:Addison-Welsley,1993

[3]G.E.P.Box,G.N.Jenkins and G.C.Reinsel著.時間序列分析預(yù)測與控制.顧嵐主譯.北京:中國統(tǒng)計出版社,1997:45-49

[4]ARMA模型參數(shù)的分步估計方法[J].湖南大學(xué)學(xué)報(自然科學(xué)版),2003,30(2):12-13.

[5]范菁.ARMA模型的兩種共軛梯度參數(shù)估計法及ARIMAX模型的應(yīng)用[D].燕山大學(xué),2009.

王美霞(1991-)，女，漢族，河北唐山人，碩士，燕山大學(xué)，最優(yōu)化理論。

)