基于粒子濾波的動(dòng)態(tài)自回歸預(yù)測模型方法

張海兵

(昆明船舶設(shè)備研究試驗(yàn)中心 第5室，云南 昆明 650051)

基于粒子濾波的動(dòng)態(tài)自回歸預(yù)測模型方法

張海兵

(昆明船舶設(shè)備研究試驗(yàn)中心 第5室，云南 昆明 650051)

摘要針對(duì)自回歸模型以固定歷史觀測序列建模，模型不能隨時(shí)間序列新的觀測值實(shí)時(shí)更新，導(dǎo)致預(yù)測中對(duì)序列趨勢(shì)變化適應(yīng)性差，預(yù)測精度低的問題，提出以粒子濾波動(dòng)態(tài)優(yōu)化調(diào)整自回歸模型的方法，通過對(duì)模型參數(shù)蒙特卡洛采樣得到粒子，以粒子描述模型狀態(tài)變量的演變，采用遞推貝葉斯方法估計(jì)粒子權(quán)重，由粒子及其權(quán)重近似模型參數(shù)的后驗(yàn)濾波值，從而隨觀測序列的動(dòng)態(tài)獲得不斷更新模型參數(shù)，提高了模型預(yù)測結(jié)果的精確性，并能給出預(yù)測結(jié)果的置信區(qū)間。最后以NASA艾姆斯中心鋰離子電池試驗(yàn)數(shù)據(jù)為例，驗(yàn)證了該方法的有效性。

關(guān)鍵詞時(shí)間序列；自回歸模型；粒子濾波；動(dòng)態(tài)更新

時(shí)間序列預(yù)測是指根據(jù)事物過去已知的狀態(tài)觀測值，構(gòu)建事物發(fā)展的規(guī)律模型，以此推測事物的未來狀態(tài)。自回歸(AR)模型完全基于時(shí)間序列自身，以自身歷史數(shù)據(jù)的變化來預(yù)測自身未來的發(fā)展，具有模型輸入少、簡單方便等特點(diǎn)，被廣泛應(yīng)用于時(shí)間序列預(yù)測建模[1-2]。然而AR模型以固定歷史觀測序列建模，模型在預(yù)測過程不發(fā)生改變，是一種定常模型，但時(shí)間序列通常是動(dòng)態(tài)發(fā)展和演化的，這種模型的固定性和數(shù)據(jù)的動(dòng)態(tài)發(fā)展性導(dǎo)致AR模型外推預(yù)測精度隨預(yù)測步數(shù)的增加降低。雖然AR模型可利用包括新的觀測值在內(nèi)的現(xiàn)有全部觀測序列重新建模，但重復(fù)工作量大，計(jì)算代價(jià)昂貴，突出表現(xiàn)在長周期時(shí)間序列預(yù)測中。文獻(xiàn)[3]分析了AR模型參數(shù)估計(jì)的時(shí)變性與預(yù)測模型的定常性之間的矛盾，提出基于卡爾曼濾波的AR模型方法以實(shí)時(shí)更新其參數(shù)估值。文獻(xiàn)[4]構(gòu)建了機(jī)場道路使用性能的自回歸移動(dòng)平均模型，并以卡爾曼濾波實(shí)現(xiàn)模型的動(dòng)態(tài)更新，提高了預(yù)測精度。然而卡爾曼濾波要求模型線性、噪聲高斯分布假設(shè)等，在實(shí)際應(yīng)用中受到了限制[5]。為此，本文提出基于粒子濾波的動(dòng)態(tài)AR模型預(yù)測方法，利用粒子濾波的遞推更新思想，隨著觀測值的不斷獲得對(duì)AR模型參數(shù)進(jìn)行貝葉斯后驗(yàn)濾波估計(jì)，以此最優(yōu)估計(jì)值更新AR模型并外推生成預(yù)測數(shù)據(jù)，達(dá)到AR模型對(duì)動(dòng)態(tài)觀測序列的實(shí)時(shí)跟蹤，提高模型預(yù)測的精確性，并且該方法具有適用范圍廣、計(jì)算簡單易實(shí)現(xiàn)等優(yōu)點(diǎn)。

1時(shí)間序列自回歸建模

時(shí)間序列y的自回歸模型可表示為

yt=θ1yt-1+θ1yt-2+…+θpyt-p+εt

(1)

其中，p為模型階數(shù)；θ為模型參數(shù)；εt為模型殘差，εt～N(0,σ2)。若已知模型階數(shù)p和參數(shù)Θ=[θ1,θ2,…,θp]，則將歷史觀測值Y=[yt-1,yt-2,…,yt-p]代入模型外推即可得到t時(shí)刻的預(yù)測值yt。因此，時(shí)間序列自回歸建模包括模型定階和模型參數(shù)求解兩方面內(nèi)容。

1.1模型定階

AR模型階數(shù)太小會(huì)導(dǎo)致模型不能充分反映時(shí)間序列的統(tǒng)計(jì)規(guī)律；階數(shù)過大不僅會(huì)降低參數(shù)估計(jì)的計(jì)算速度，且易產(chǎn)生過擬合，降低模型推廣能力。BIC定階準(zhǔn)則由日本學(xué)者Akaike和E.J.Haman提出，以最小信息為測度，并考慮了樣本數(shù)對(duì)模型平滑性的影響[6]，其描述如下

(2)

1.2模型參數(shù)求解

AR模型參數(shù)求解的方法主要有相關(guān)矩估計(jì)、最大似然估計(jì)、最小二乘估計(jì)等。最小二乘法求解簡單可靠，其原理如下：由式(1)可知，p階自回歸模型的誤差方程為

εt=θ1yt-1+θ2yt-2+…+θpyt-p-yt

(3)

(4)

由該誤差方程組可求得 的最小二乘解為

(5)

由上述AR建模過程可知，模型參數(shù)由一段固定歷史觀測序列根據(jù)一定的準(zhǔn)則確定，反映的是歷史觀測值的最優(yōu)時(shí)間依存規(guī)律。當(dāng)時(shí)間序列觀測值不斷動(dòng)態(tài)獲得，就需要預(yù)測模型也能隨觀測值實(shí)時(shí)更新，否則以舊的預(yù)測模型對(duì)序列新觀測值進(jìn)行預(yù)測，精度必然會(huì)有所損失。

2粒子濾波原理

系統(tǒng)的狀態(tài)方程和觀測方程可表示為[7]

xk=fk(xk-1,wk)

(6)

yk=hk(xk,uk)

(7)

其中，xk為系統(tǒng)在k時(shí)刻的狀態(tài)變量；yk為xk的觀測值；wk為系統(tǒng)噪聲；uk為觀測噪聲;f(·)和h(·)為已知函數(shù)。

對(duì)上述狀態(tài)方程和觀測方程作統(tǒng)計(jì)描述，可分別得到系統(tǒng)的狀態(tài)轉(zhuǎn)移概率密度p(xk/xk-1)和觀測似然概率密度p(yk/xk)。

若已知系統(tǒng)狀態(tài)的初始概率密度函數(shù)p(x0)，則狀態(tài)遞推概率密度可表示為

(8)

狀態(tài)更新概率密度為

(9)

上述預(yù)測和更新方程描述了遞推貝葉斯估計(jì)的過程，即從k-1時(shí)刻得到的后驗(yàn)概率密度p(xk-1/y1:k-1)出發(fā)，利用狀態(tài)模型來遞推k時(shí)刻xk的先驗(yàn)概率密度p(xk/y1:k-1),當(dāng)獲得k時(shí)刻的最新觀測值yk，修正先驗(yàn)概率密度，從而得到k時(shí)刻的后驗(yàn)概率密度p(xk/y1:k)。粒子濾波運(yùn)用蒙特卡洛仿真，采用重要性采樣的方法，以粒子及其權(quán)重的形式近似得到上述狀態(tài)方程的解[8]。

設(shè)g(xk)為狀態(tài)變量xk的任意函數(shù)，q(xk/y1:k)為后驗(yàn)概率密度p(xk/y1:k)的重要性抽樣參考分布，則g(xk)的數(shù)學(xué)期望為

(10)

(11)

最簡單易于實(shí)現(xiàn)的重要性概率密度函數(shù)是使之等于先驗(yàn)概率密度，但概率密度函數(shù)重要性采樣中粒子經(jīng)過多次迭代后，會(huì)出現(xiàn)退化的現(xiàn)象，需對(duì)其做重采樣，以增加粒子的多樣性。常用重采樣方法有多項(xiàng)式重采樣、殘差重采樣、系統(tǒng)重采樣等[9]。

3基于粒子濾波的動(dòng)態(tài)自回歸模型方法

對(duì)于一時(shí)間序列，運(yùn)用第1節(jié)方法建立AR模型，此AR模型為時(shí)間遞推方程，作為粒子濾波方法的狀態(tài)方程。引入時(shí)間序列值的觀測噪聲，構(gòu)建粒子濾波觀測方程。

(12)

(5)計(jì)算參數(shù)粒子的均值作為AR模型參數(shù)的最優(yōu)值，利用該優(yōu)化后的AR模型對(duì)t+1時(shí)刻的狀態(tài)值做外推預(yù)測；

(6)當(dāng)獲得t+1時(shí)刻的觀測值，重復(fù)步驟(2)～(5)，對(duì)AR模型進(jìn)一步做優(yōu)化更新。

4實(shí)例分析

以NASA艾姆斯中心B6號(hào)鋰離子電池實(shí)驗(yàn)數(shù)據(jù)為例，采用AR模型和本文提出的基于粒子濾波的動(dòng)態(tài)AR模型方法分別對(duì)其作剩余壽命預(yù)測。其中B6號(hào)電池型號(hào)為18650Li-ion battery，額定容量2 Ah，在室溫下反復(fù)充放電次數(shù)與實(shí)測容量關(guān)系如圖1所示。設(shè)當(dāng)鋰離子電池容量退化至額定容量的70%時(shí)視為失效，則從鋰離子電池的當(dāng)前容量值到失效閥值(1.4 Ah)之間的充放電循環(huán)次數(shù)為鋰離子電池的剩余壽命[10-11]。

圖1　鋰離子電池充放電次數(shù)與電池容量關(guān)系

由圖1可知，鋰離子電池容量觀測數(shù)據(jù)具有明顯的遞減趨勢(shì)，是非平穩(wěn)時(shí)間序列，對(duì)其進(jìn)行平穩(wěn)化處理，一次差分后結(jié)果表明平穩(wěn)，對(duì)該平穩(wěn)時(shí)間序列AR建模，取前80個(gè)觀測序列值作為模型訓(xùn)練數(shù)據(jù)，以BIC準(zhǔn)則確定模型階數(shù)得如圖2所示曲線，由圖可知當(dāng)P=7時(shí)BIC指標(biāo)值最小，因此將該時(shí)間序列的AR模型定為7階，采用最小二乘法計(jì)算得7階AR模型的各參數(shù)值為[0.24,0.11,0.11,0.31,0.01,0.05,0.14]。

圖2　BIC準(zhǔn)則定階結(jié)果

以建立好的AR模型對(duì)后續(xù)的60個(gè)值做單步預(yù)測，結(jié)果如圖3所示。計(jì)算得AR模型在失效閾值處的壽命預(yù)測誤差為12次。

圖3　AR模型預(yù)測結(jié)果

圖4　AR模型各參數(shù)粒子的核密度更新過程

取參數(shù)粒子的均值作為該參數(shù)的最優(yōu)估計(jì)，以優(yōu)化后的AR模型對(duì)下一循環(huán)電池容量進(jìn)行預(yù)測，結(jié)果如圖5所示。由圖可知，粒子濾波動(dòng)態(tài)更新后的AR模型預(yù)測精度顯著提高，在失效閾值處的預(yù)測誤差僅為1次。進(jìn)一步可根據(jù)參數(shù)粒子的概率分布計(jì)算得電池容量預(yù)測結(jié)果的90%置信區(qū)間。

圖5　粒子濾波更新后AR模型預(yù)測結(jié)果

5結(jié)束語

提出了一種基于粒子濾波的AR模型預(yù)測方法，可隨著觀測值的動(dòng)態(tài)獲得不斷更新模型參數(shù)，從而做到觀測信息的全面利用，提高模型對(duì)時(shí)間序列動(dòng)態(tài)發(fā)展的適應(yīng)性和預(yù)測的精確性，并且該方法還可以給出預(yù)測結(jié)果的置信區(qū)間，為預(yù)測結(jié)果的評(píng)價(jià)提供了依據(jù)。以NASA艾姆斯中心鋰離子電池剩余壽命預(yù)測為例，驗(yàn)證了本文方法相對(duì)于經(jīng)典AR模型具有預(yù)測結(jié)果誤差小，預(yù)測結(jié)果可評(píng)價(jià)等優(yōu)點(diǎn)。

參考文獻(xiàn)

[1]徐峰,王志芳,王寶圣.AR模型應(yīng)用于振動(dòng)信號(hào)趨勢(shì)預(yù)測的研究[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,1999,39(4):57-59.

[2]胡勁松,楊世錫.EMD方法基于AR模型預(yù)測的數(shù)據(jù)延拓與應(yīng)用[J].振動(dòng)、測試與診斷,2007,27(2):116-120.

[3]張顯云,張勤,王利,等.基于卡爾曼濾波的AR模型及應(yīng)用[J].測繪通報(bào),2009(11):41-43.

[4]袁捷,唐龍,杜浩.機(jī)場道面使用性能的動(dòng)態(tài)自回歸預(yù)測模型[J].同濟(jì)大學(xué)學(xué)報(bào):自然科學(xué)版,2015,43(3):399-404.

[5]張萌,陳懇,李娜,等.卡爾曼濾波與粒子濾波之間跟蹤模式的優(yōu)化[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(36):129-133.

[6]Jonathan D Cryer, Kung-Sik Chan.時(shí)間序列分析及應(yīng)用[M].2版.潘紅宇,譯.北京:機(jī)械工業(yè)出版社,2011.

[7]Georges O,Anne P,Jean D R,et al.The particle filters and their applications[J].Chemometrics and Intelligent Laboratory Systems, 2008,91(1):87-93.

[8]Kemp F. An introduction to sequential monte carlo methods[J].Journal of the Royal Statistical Society, 2003,52(4):694-695.

[9]Hol J D.Resampling in particle filters, Internship report[J].Institutionen For Systemteknik,2004 (614):307.

[10]劉大同,周建寶,郭力萌,等.鋰離子電池健康評(píng)估和壽命預(yù)測綜述[J].儀器儀表學(xué)報(bào),2015,36(1):1-16.

[11]艾力,房紅征,于功敬,等.基于數(shù)據(jù)驅(qū)動(dòng)的衛(wèi)星鋰離子電池壽命預(yù)測方法[J].計(jì)算機(jī)測量與控制,2015,23(4):1262-1265,1272.

Dynamic Auto-regression Prediction Model Based on Particle Filter

ZHANG Haibing

(Fifth Room，Kunming Marine Equipment Test Research Center, Kunming 650051, China)

AbstractAs to the problem of auto-regressive model built on fixed time series and cannot update with the new value, which result in the poor trend adaptability and low prediction precision, a dynamic model parameter optimization method based on the particle filter is proposed. Firstly, particles are sampled from model parameters to describe the state variables. Further, the weights of particles are calculated using Recursive Bayes estimation method, therefore the posterior filtered estimations can be represented by particles and their weights, and then use them to update the AR model along with the new observe value achieve. The proposed method can improve the predict result accuracy of AR model and give the confidence interval of predict result as well. In the end of the article, effectiveness of the method is verified by lithium-ion battery data tested in NASA’s Ames Research Center.

Keywordstime series; auto-regression model; particle filter; dynamic update

收稿日期:2015-10-23

作者簡介:張海兵(1989-)，男，碩士，助理工程師。研究方向：動(dòng)力裝備狀態(tài)監(jiān)測與故障診斷。

doi:10.16180/j.cnki.issn1007-7820.2016.06.005

中圖分類號(hào)TP301.6

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)06-015-04