基于BP神經(jīng)網(wǎng)絡(luò)的粒子濾波算法

王爾申，李興凱，龐濤（沈陽(yáng)航空航天大學(xué)電子信息工程學(xué)院，遼寧沈陽(yáng)110136）

基于BP神經(jīng)網(wǎng)絡(luò)的粒子濾波算法

王爾申，李興凱，龐濤
（沈陽(yáng)航空航天大學(xué)電子信息工程學(xué)院，遼寧沈陽(yáng)110136）

針對(duì)粒子濾波算法中的粒子退化問(wèn)題，提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的提高粒子濾波多樣性的算法。利用BP神經(jīng)網(wǎng)絡(luò)的非線性映射功能，通過(guò)對(duì)權(quán)值進(jìn)行分裂、選擇，將粒子中的小權(quán)值粒子狀態(tài)作為神經(jīng)網(wǎng)絡(luò)的輸入，粒子的權(quán)值作為神經(jīng)網(wǎng)絡(luò)的權(quán)值，以觀測(cè)值作為神經(jīng)網(wǎng)絡(luò)的目標(biāo)信號(hào)，通過(guò)多次訓(xùn)練增大小權(quán)值粒子的權(quán)值，從而提高粒子濾波算法粒子的多樣性，改善算法的濾波性能。仿真結(jié)果表明：基于BP神經(jīng)網(wǎng)絡(luò)的粒子濾波算法的性能在有效粒子數(shù)和均方根誤差參數(shù)方面優(yōu)于基本粒子濾波算法，在改善濾波精度方面得到了較好的效果，驗(yàn)證了BP神經(jīng)網(wǎng)絡(luò)在改進(jìn)粒子濾波算法中的有效性。

粒子濾波；粒子退化；重采樣；BP神經(jīng)網(wǎng)絡(luò)

粒子濾波（particle filter，PF）算法是一種基于蒙特卡羅模擬和遞推貝葉斯估計(jì)的濾波方法，隨著采樣粒子數(shù)的增大，逐漸趨向狀態(tài)的后驗(yàn)概率密度，在處理非高斯、非線性系統(tǒng)的參數(shù)估計(jì)和狀態(tài)濾波問(wèn)題方面有著明顯的優(yōu)勢(shì)。近年來(lái)，在目標(biāo)跟蹤、衛(wèi)星姿態(tài)估計(jì)、金融領(lǐng)域數(shù)據(jù)分析、圖像處理、衛(wèi)星導(dǎo)航動(dòng)態(tài)定位等方面得到廣泛的應(yīng)用［1?5］。對(duì)于粒子濾波而言，其主要的缺陷是存在粒子退化現(xiàn)象。采用重采樣技術(shù)能抑制粒子退化現(xiàn)象，但同時(shí)也帶來(lái)了粒子的多樣性喪失、樣本枯竭等問(wèn)題。

文獻(xiàn)［6］將卡爾曼濾波與粒子濾波結(jié)合提高估計(jì)精度。文獻(xiàn)［7］將粒子濾波與神經(jīng)網(wǎng)絡(luò)結(jié)合，可克服神經(jīng)網(wǎng)絡(luò)算法易陷于局部極小的缺陷。文獻(xiàn)［8］將粒子濾波與自組織模糊神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法相結(jié)合，利用粒子濾波對(duì)參數(shù)進(jìn)行學(xué)習(xí)，其在結(jié)構(gòu)緊湊性和泛化性能上有所提高。上述這些算法是將粒子濾波用于神經(jīng)網(wǎng)絡(luò)算法的改善。

1 基本粒子濾波算法

Gordon提出基于蒙特卡羅方法的序貫重要性重采樣粒子濾波算法以來(lái)，粒子濾波成為非線性非高斯系統(tǒng)狀態(tài)估計(jì)問(wèn)題的一個(gè)研究熱點(diǎn)［9］。

假設(shè)描述動(dòng)態(tài)系統(tǒng)的狀態(tài)方程和觀測(cè)方程為

式中：Xk為狀態(tài)向量，Zk為測(cè)量向量，fk為狀態(tài)轉(zhuǎn)移函數(shù)，hk為狀態(tài)向量和觀測(cè)向量之間的傳遞函數(shù)，vk－1為系統(tǒng)噪聲，nk為觀測(cè)噪聲?；玖Ｗ訛V波算法的步驟如下所示。

設(shè)k－1時(shí)刻有一組后驗(yàn)粒子集：

｛xk－1（i），ωk－1（i）；i＝1，2，…，N｝

式中：N為粒子數(shù)目，xk－1（i）為k－1時(shí)刻的第i個(gè)粒子，ωk－1（i）為k－1時(shí)刻第i個(gè)粒子的權(quán)重。

1）粒子集初始化，k＝0。

根據(jù)先驗(yàn)概率密度p（X0）抽取隨機(jī)樣本，X0

（1），X0

（2），…，（N為隨機(jī)樣本數(shù)）。

2）當(dāng)k＝1，2，…時(shí)，執(zhí)行以下步驟：

①狀態(tài)預(yù)測(cè)。根據(jù)系統(tǒng)的狀態(tài)方程抽取k時(shí)刻的先驗(yàn)粒子：

｛Xk｜k－1（i）；i＝1，2，…，N｝～p（Xk｜Xk－1）

②更新。首先，進(jìn)行權(quán)值更新。在獲得測(cè)量值之后，根據(jù)系統(tǒng)的觀測(cè)方程計(jì)算粒子的權(quán)值：

③估計(jì)。計(jì)算當(dāng)前時(shí)刻系統(tǒng)的狀態(tài)估計(jì)值：

基本粒子濾波算法在k時(shí)刻抽樣時(shí)保持了過(guò)去的樣本不變，而且重要性權(quán)是迭代計(jì)算的。但重要性權(quán)的方差經(jīng)過(guò)若干次迭代，某個(gè)權(quán)可能趨于1，其余的權(quán)趨于0，造成了權(quán)值退化現(xiàn)象。粒子濾波的重采樣可以抑制權(quán)值的退化，但重采樣后也帶來(lái)粒子不再獨(dú)立。

2 BP神經(jīng)網(wǎng)絡(luò)輔助的粒子濾波算法

BP神經(jīng)網(wǎng)絡(luò)是一種有教師信號(hào)的按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。它的學(xué)習(xí)規(guī)則使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層、隱層和輸出層，如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Diagram of BP neural network

設(shè)輸入樣本為p個(gè)：x1，x2，…，xp，與之對(duì)應(yīng)的教師信號(hào)為d1，d2，..，dp，實(shí)際輸出為y1，y2，…，yp，輸出誤差為

采用梯度法對(duì)各個(gè)層之間的權(quán)值進(jìn)行調(diào)整，以使總誤差減小，即

式中：η為學(xué)習(xí)步長(zhǎng)，wjk為各層之間的權(quán)值，Δwjk為權(quán)值修改量，通過(guò)總誤差對(duì)權(quán)值進(jìn)行相應(yīng)地調(diào)整。

將BP神經(jīng)網(wǎng)絡(luò)與粒子濾波算法結(jié)合，改進(jìn)的粒子濾波在基本粒子濾波的基礎(chǔ)上增加了權(quán)值分裂和權(quán)值調(diào)整2個(gè)步驟，BP神經(jīng)網(wǎng)絡(luò)輔助的重要性權(quán)值調(diào)整粒子濾波（NNWA?PF）算法詳細(xì)步驟如下。

1）粒子集初始化，k＝0。

根據(jù)先驗(yàn)概率密度p（X0）產(chǎn)生隨機(jī)樣本，X0

（1），，…，（N為隨機(jī)樣本數(shù)）。

2）當(dāng)k＝1，2，…時(shí)，執(zhí)行以下步驟：

①狀態(tài)預(yù)測(cè)。根據(jù)系統(tǒng)的狀態(tài)方程抽取k時(shí)刻的先驗(yàn)粒子：

②進(jìn)行權(quán)值更新。在獲得測(cè)量值之后，根據(jù)系統(tǒng)的觀測(cè)方程并計(jì)算粒子的權(quán)值：

③粒子分裂。將粒子矩陣按權(quán)值大小排序，分為高權(quán)值矩陣和低權(quán)值矩陣，將高權(quán)值矩陣中q個(gè)權(quán)值大的粒子分裂為2個(gè)小的、權(quán)值減半的粒子，同時(shí)將低權(quán)值矩陣中的q個(gè)權(quán)值最小的粒子舍棄。

④權(quán)值調(diào)整。將③的粒子權(quán)值矩陣進(jìn)行降序排列，取其中最小的q個(gè)粒子，利用BP神經(jīng)網(wǎng)絡(luò)調(diào)整粒子的權(quán)值。

設(shè)誤差能量定義為

式中：q為輸入／輸出層神經(jīng)元的數(shù)量，zk為教師信號(hào)，即系統(tǒng)在該時(shí)刻的量測(cè)值，yk為神經(jīng)網(wǎng)絡(luò)的輸出。輸入數(shù)據(jù)為具有較小權(quán)值的粒子，其狀態(tài)值作為BP神經(jīng)網(wǎng)絡(luò)的輸入，粒子權(quán)值作為神經(jīng)網(wǎng)絡(luò)的初始權(quán)值，樣本的學(xué)習(xí)函數(shù)為系統(tǒng)量測(cè)方程。

對(duì)更新后的粒子的權(quán)值進(jìn)行歸一化，

⑥估計(jì)。計(jì)算當(dāng)前時(shí)刻系統(tǒng)的狀態(tài)估計(jì)值：

⑦時(shí)刻k＝k＋1，繼續(xù)計(jì)算。

3 實(shí)驗(yàn)仿真與結(jié)果分析

3.1 實(shí)驗(yàn)?zāi)Ｐ?/p>

為了進(jìn)一步驗(yàn)證算法的有效性，本文引用如下的模型［10］，該模型在大量文獻(xiàn)中均可看到，是研究比較各種粒子濾波算法性能的典型驗(yàn)證模型之一。

狀態(tài)模型和觀測(cè)模型分別為

式中：k表示狀態(tài)時(shí)刻，xk表示狀態(tài)量，yk表示觀測(cè)量，狀態(tài)初始值為x0＝0.1，wk、vk均服從零均值高斯分布，方差分別為和，狀態(tài)變量xk為一維變量，初始狀態(tài)x0服從高斯分布。

3.2 實(shí)驗(yàn)結(jié)果性能分析

依據(jù)上述模型中的系統(tǒng)方程與測(cè)量方程，設(shè)定初始時(shí)刻狀態(tài)值x0和粒子總數(shù)，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)步長(zhǎng)為0.05，神經(jīng)元個(gè)數(shù)為6，過(guò)程噪聲方差Q＝1、量測(cè)噪聲方差R＝1時(shí)。運(yùn)行環(huán)境為MATLAB R2009a，Intel Core（TM）2 Duo CPU T6500，2.1 GHz，2 G內(nèi)存。為了對(duì)比不同粒子數(shù)目的實(shí)驗(yàn)結(jié)果，選取50、100、150個(gè)粒子，結(jié)果如圖2～7所示。

圖2 粒子數(shù)為50時(shí)算法結(jié)果對(duì)比情況Fig.2 Com parison of the algorithms un?der the condition of 50 particles

圖3 粒子數(shù)為50時(shí)誤差對(duì)比情況Fig.3 Error comparison under the condition of 50 particles

圖4 粒子數(shù)為100時(shí)算法結(jié)果對(duì)比情況Fig.4 Com parison of the algorithm s under the condi?tion of 100 particles

圖5 粒子數(shù)為100時(shí)誤差對(duì)比情況Fig.5 Error comparison under the condition of 100 particles

圖6 粒子數(shù)為150時(shí)算法結(jié)果對(duì)比情況Fig.6 Com parison of the algorithm s under the condition of 150 particles

圖7 粒子數(shù)為150時(shí)誤差對(duì)比情況Fig.7 Error com parison under the condition of 150 particles

從圖中可以看出，BP神經(jīng)網(wǎng)絡(luò)輔助的粒子濾波算法比基本粒子濾波算法對(duì)狀態(tài)的估計(jì)性能更好。2種算法處理后的不同參數(shù)如表1所示。

從表1不難看出，粒子數(shù)目為N＝50，NNWA?PF濾波算法的RMSE＝3.539 9，基本粒子濾波算法的RMSE＝3.816 3。此時(shí)，NNWA?PF濾波算法的有效樣本為30.415 5。粒子數(shù)目為N＝100時(shí)，NNWA? PF濾波算法的RMSE＝3.175，基本粒子濾波算法的RMSE＝3.517 8。此時(shí)，NNWA?PF濾波算法的有效樣本為48.1209。粒子數(shù)目為N＝150時(shí)，NNWA?PF濾波算法的RMSE＝3.111 8。此時(shí)，NNWA?PF濾波的有效樣本為71.265 0。從中可以看出引入神經(jīng)網(wǎng)絡(luò)后的重要性權(quán)值調(diào)整粒子濾波算法能有效地抑制樣本退化，而且，在同等條件下，有效樣本數(shù)目增多，方差越小，估計(jì)精度越高。

表1 采用不同算法處理后的參數(shù)比較Table 1 Parameter comparison of particle filter algorithms

為了驗(yàn)證不同算法復(fù)雜度與粒子濾波中粒子個(gè)數(shù)N的關(guān)系，分別選取50，100，…，350個(gè)粒子，仿真其運(yùn)行時(shí)間（單位：s），得到的結(jié)果如圖8、9所示。

圖8 粒子濾波算法運(yùn)行時(shí)間與粒子數(shù)目的關(guān)系Fig.8 Relation of PF running time and number of par?ticle

圖9 NNWA?PF算法運(yùn)行時(shí)間與粒子數(shù)目的關(guān)系Fig.9 Relation of NNWA?PF running time and num?ber of particle

從圖8和圖9中可看出，基本粒子濾波算法的運(yùn)行時(shí)間隨著粒子數(shù)目的增加基本成線性增長(zhǎng)。NNWA?PF的運(yùn)行時(shí)間隨著粒子數(shù)目的增加成非線性增長(zhǎng)。

4 結(jié)束語(yǔ)

將BP神經(jīng)網(wǎng)絡(luò)和基本粒子濾波算法有機(jī)結(jié)合，通過(guò)理論分析和數(shù)學(xué)仿真，比較了相同粒子數(shù)樣本條件下，BP神經(jīng)網(wǎng)絡(luò)輔助的粒子濾波與基本粒子濾波的有效粒子數(shù)目和均方根誤差參數(shù)，分析了不同粒子數(shù)目條件下算法的復(fù)雜度。結(jié)果表明：神經(jīng)網(wǎng)絡(luò)輔助的粒子濾波算法有效地改善了濾波性能，降低了估計(jì)方差，同時(shí)，粒子濾波器運(yùn)行時(shí)間均與粒子數(shù)目呈遞增關(guān)系，BP算法的引入增加了算法的運(yùn)行時(shí)間。

［1］程水英，張劍云.粒子濾波評(píng)述［J］.宇航學(xué)報(bào)，2008，29（4）：1099?1111.CHENG Shuiying，ZHANG Jianyun.Review on particle fil?ters［J］.Journal of Astronautics，2008，29（4）：1099?1111.

［2］LI P，KADIRKAMANATHAN V.Particle filtering based likelihood ratio approach to fault diagnosis in nonlinear sto?chastic systems［J］.IEEE Trans Syst，Man，Cybern C，2001，31（3）：337?343.

［3］GUSTAFSSON F，F(xiàn)REDRIK G.Particle filters for positio?ning，navigation，and tracking［J］.IEEE Transactions on Signal Processing，2002，50（2）：425?437.

［4］QINGMing，JO K H.A novel particle filter implementation for a multiple?vehicle detection and tracking system using tail light segmentation［J］.International Journal of Control，Automation and Systems，2013，11（3）：577?585.

［5］CHEN Zhimin，BO Yuming，WU Panlong，etal.Novelpar?ticle filter algorithm based on adaptive particle swarm opti?mization and its application to radar target tracking［J］.Control and Decision，2013，28（2）：193?200.

［6］夏楠，邱天爽，李景春，等.一種卡爾曼濾波與粒子濾波相結(jié)合的非線性濾波算法［J］.電子學(xué)報(bào)，2013，41（1）：148?152.XIA Nan，QIU Tianshuang，LIJingchun，et al.A nonlinear filtering algorithm combining the kalman filter and the parti?cle filter［J］.Acta Electronica Sinica，2013，41（1）：148?152.

［7］陳養(yǎng)平，王來(lái)雄，黃士坦.基于粒子濾波的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法［J］.武漢大學(xué)學(xué)報(bào)：工學(xué)版，2006，39（6）：86?88.CHEN Yangping，WANG Laixiong，HUANG Shitan.Neural network learning algorithm based on particle filter［J］.Engi?neering Journal ofWuhan University，2006，39（6）：86?88.

［8］程洪炳，黃國(guó)榮，倪世宏，等.基于粒子濾波的自組織模糊神經(jīng)網(wǎng)絡(luò)算法研究［J］.儀器儀表學(xué)報(bào)，2011，32（3）：634?639.CHENG Hongbing，HUANG Guorong，NI Shihong，et al.Desighn of self?organizing fuzzy neural network based on particle filter［J］.Chinese Journal of Scientific Instrument，2011，32（3）：634?639.

［9］ARULAMPALAM M S，MASKELL S，GORDON N，et al.A tutorial on particle filters for online nonlinear／non?Gaussi?an Bayesian tracking［J］.IEEE Transactions on Signal Pro?cessing，2002，50（2）：174?188.

［10］馮馳，趙娜.有效粒子數(shù)MCMC粒子濾波算法研究［J］.應(yīng)用科技，2009，36（4）：19?22.FENG Chi，ZHAO Na.Research on MCMC particle filter algorithm［J］.Applied Science and Technology，2009，36（4）：19?22.

王爾申，男，1980年生，副教授，博士，主要研究方向?yàn)樾l(wèi)星導(dǎo)航信號(hào)處理算法以及航空電子系統(tǒng)。主持多項(xiàng)縱向項(xiàng)目，發(fā)表學(xué)術(shù)論文20余篇。

李興凱，男，1988年生，碩士研究生，主要研究方向?yàn)樾l(wèi)星導(dǎo)航信息處理。

龐濤，女，1976年生，講師，主要研究方向?yàn)闄C(jī)器人學(xué)、人工智能，發(fā)表學(xué)術(shù)論文10篇。

A particle filtering algorithm based on the BP neural network

WANG Ershen，LIXingkai，PANG Tao
（School of Electronic and Information Engineering，Shenyang Aerospace University，Shenyang 110136，China）

Aiming at the particle degeneracy phenomena in particle filtering algorithms，a particle filtering algorithm based on the BP neural network is presented for improving the diversity of particles.This algorithm utilizes the non?linearmapping function of the BP neuralnetwork.Firstof all，to sample particles from the importance density func?tion of particleweight division，theweighted particle is split into two smallweight particles.Next，theweightof ver?y small particles is abandoned and the particleswith smallerweightare adjusted using the neural network.The state of the remaining smallweight particles is used as the inputof neural network.The weights of particles are treated as the weights of neural network by using the observed value as the target signal of the neural network.The weights of many small particles can be increased through many times′trainings，thereby increasing the diversity of particle samples in the particle filter algorithm.Simulation results showed that the particle filter algorithm based on BP neu?ral network can increase the number of effective particles，reduce themean square error，and the filtering precision performance is improved.It is proven that this particle filter algorithm based on BP neural network is reliable and effective.

particle filter；particle degeneracy；resampling；BP neural network

TP391

A

1673?4785（2014）06?0709?05

王爾申，李興凱，龐濤.基于BP神經(jīng)網(wǎng)絡(luò)的粒子濾波算法［J］.智能系統(tǒng)學(xué)報(bào)，2014，9（6）：709?713.

英文引用格式：WANG Ershen，LIXingkai，PANG Tao.A particle filtering algorithm based on the BP neural network［J］.CAAI Transactions on Intelligent Systems，2014，9（6）：709?713.

10.3969／j.issn.1673?4785.201310057

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1673?4785.201310057.htm l

2013?10?22.

日期：2014?09?30.

國(guó)家自然科學(xué)基金資助項(xiàng)目（61101161）；航空科學(xué)基金資助項(xiàng)目（2011ZC54010）；遼寧省自然科學(xué)基金（聯(lián)合基金）資助項(xiàng)目（2013024003）.

王爾申.E?mail：wes2016＠sau.edu.cn.