遞推的貝葉斯估計(jì)方法

寧永成，侯代文

(91439 部隊(duì)460 所，遼寧 大連 116041)

概率推理，研究如何利用帶有噪聲的觀測(cè)信息，給出系統(tǒng)隱含的狀態(tài)或者參數(shù)的最優(yōu)一致估計(jì)的問題，是人工智能、自動(dòng)控制、信號(hào)處理等領(lǐng)域的核心內(nèi)容之一，在目標(biāo)跟蹤、語(yǔ)音識(shí)別、無(wú)線通信、慣性導(dǎo)航、神經(jīng)網(wǎng)絡(luò)訓(xùn)練以及經(jīng)濟(jì)預(yù)測(cè)等方面有著廣泛的應(yīng)用［1］。

遞推的貝葉斯估計(jì)方法給出了解決這一問題的最佳方案，該方法每接收到一個(gè)新的觀測(cè)量，就會(huì)遞歸地更新系統(tǒng)狀態(tài)的后驗(yàn)概率密度函數(shù)(posteriori density function，pdf)，這一函數(shù)包含了概率推理問題的完整解決方案，能夠給出系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。然而，貝葉斯估計(jì)方法僅僅提供了狀態(tài)估計(jì)的理論框架，在實(shí)際應(yīng)用中，具體算法的選擇依賴于系統(tǒng)狀態(tài)、系統(tǒng)模型以及描述后驗(yàn)概率密度函數(shù)方法的具體形式。本文在簡(jiǎn)要介紹貝葉斯估計(jì)理論的基礎(chǔ)上，在統(tǒng)一的框架之下，對(duì)各種狀態(tài)估計(jì)算法進(jìn)行歸納和總結(jié)，并對(duì)各自的使用方法、使用范圍以及相互間的聯(lián)系與區(qū)別，作了較為詳細(xì)地闡述。

1 動(dòng)態(tài)系統(tǒng)中的貝葉斯估計(jì)

本文將主要討論離散時(shí)間的動(dòng)態(tài)隨機(jī)系統(tǒng)。用k=1，2，…，表示時(shí)間序列，k 時(shí)刻的系統(tǒng)狀態(tài)用xk表示，假定系統(tǒng)狀態(tài)是隱含的，無(wú)法直接得到，而只能在每個(gè)時(shí)刻得到含有噪聲的觀測(cè)值z(mì)k，目標(biāo)是從觀測(cè)序列中推導(dǎo)出系統(tǒng)狀態(tài)中所需要的信息。以下部分，將用xn:m表示變量序列xn，xn+1，…，xn+m。

在貝葉斯框架下，系統(tǒng)狀態(tài)及觀測(cè)量之間的關(guān)系被融入概率密度函數(shù)p(x1:k，z1:k)中，由于p(x1:k，z1:k)= p(x1:k)p(z1:k|x1:k)，p(x1:k，z1:k)被進(jìn)一步簡(jiǎn)化為2 部分，其中p(x1:k)表示系統(tǒng)的內(nèi)部動(dòng)態(tài)特性，p(z1:k|x1:k)表示測(cè)量噪聲模型。這樣，在給定觀測(cè)序列z1:k后，利用系統(tǒng)的動(dòng)態(tài)特性及測(cè)量噪聲特性，就能夠計(jì)算出系統(tǒng)狀態(tài)的pdf p(x1:l|z1:k)，從而得到關(guān)于系統(tǒng)狀態(tài)的有用信息。習(xí)慣上，當(dāng)l ＞k 時(shí)，對(duì)應(yīng)的問題稱為預(yù)測(cè)問題;l=k 時(shí)，對(duì)應(yīng)于濾波問題;l ＜k 時(shí)，對(duì)應(yīng)于平滑問題。本文主要研究用于實(shí)時(shí)處理的濾波問題，對(duì)于平滑問題，可參閱文獻(xiàn)［2-4］。

1.1 系統(tǒng)動(dòng)態(tài)特性

對(duì)系統(tǒng)動(dòng)態(tài)特性的描述，最簡(jiǎn)單的情況是作馬爾科夫(Markov)假定，即系統(tǒng)狀態(tài)xk僅與狀態(tài)xk-1有關(guān)，而與k-1時(shí)刻之前的狀態(tài)無(wú)關(guān)。此時(shí)

其中，p(x1)表示狀態(tài)的先驗(yàn)概率密度函數(shù)。通常情況下，p(xi|xi-1)用系統(tǒng)狀態(tài)方程來表示:

其中，vk-1表示k-1 時(shí)刻的過程噪聲。隱馬爾科夫模型(hidden markov model，HMM)［5-7］和卡爾曼濾波模型(kalman filter model，KFM)［8］是這一類模型的典型代表。

然而，有些系統(tǒng)并不遵循Markov 假定，即k 時(shí)刻的狀態(tài)xk不僅與xk-1有關(guān)，還跟k-1 時(shí)刻前的狀態(tài)有關(guān)。Neal［9］對(duì)這種比較復(fù)雜的系統(tǒng)進(jìn)行了研究，這里不作詳細(xì)討論。

1.2 觀測(cè)模型

一般情況下，觀測(cè)量zk只跟當(dāng)前狀態(tài)xk有關(guān)，即

對(duì)于zk依賴于過去的觀測(cè)序列z1:k-1的情況，從應(yīng)用的角度講，由于p(zk|xk)與p(zk|z1:k-1，xk)中都只有xk是自變量，二者沒有實(shí)質(zhì)性的差異［10］，不失一般性，僅討論p(zk|xk)一種情況。

類似地，關(guān)系式p(zk|xk)用觀測(cè)方程來表示:

其中，wk表示測(cè)量噪聲。

1.3 遞推的貝葉斯估計(jì)

貝葉斯估計(jì)是各種計(jì)算系統(tǒng)狀態(tài)pdf p(x1:k|z1:k)方法的總稱。p(x1:k|z1:k)描述了由觀測(cè)序列z1:k推導(dǎo)的系統(tǒng)狀態(tài)在狀態(tài)空間上的分布情況，通過它可以精確求解系統(tǒng)狀態(tài)在各種意義下的最優(yōu)估計(jì)。利用貝葉斯法則，易知

由于p(x1:k|z1:k)不能分解成更簡(jiǎn)單的形式，只能用非常復(fù)雜的模型來描述［11］;另一方面，對(duì)于實(shí)時(shí)處理問題，往往希望基于當(dāng)前觀測(cè)序列，得到當(dāng)前狀態(tài)的估計(jì)值，因此，一般情況下，更多地關(guān)注概率密度函數(shù)p(xk|z1:k)，而不是p(x1:k|z1:k)。

對(duì)滿足式(1)的Markov 動(dòng)態(tài)系統(tǒng)，求解p(xk|z1:k)可以利用上一時(shí)刻的估計(jì)結(jié)果，分2 步遞歸進(jìn)行。首先，在獲得觀測(cè)量zk之前，利用k-1 時(shí)刻的觀測(cè)序列z1:k-1以及狀態(tài)估計(jì)值xk-1，預(yù)測(cè)狀態(tài)xk的分布函數(shù):

獲得觀測(cè)量以后，利用貝葉斯法則:

其中常數(shù)因子p(zk| z1:k-1)=∫p(zk| xk)p(xk| z1:k-1)dxk。當(dāng)k=1 時(shí)，指定狀態(tài)的預(yù)測(cè)分布等于先驗(yàn)概率分布p(x1)。利用式(6)、式(7)可以實(shí)現(xiàn)遞推的貝葉斯估計(jì)。

然而，對(duì)大多數(shù)概率分布，式(6)、式(7)中的多維積分值都不能解析地求出，必須尋求pdf 的簡(jiǎn)單描述方式，才能使貝葉斯估計(jì)理論具有實(shí)際的應(yīng)用價(jià)值。以下將根據(jù)對(duì)pdf 描述方式的不同，把貝葉斯估計(jì)方法分為參數(shù)化估計(jì)方法和非參數(shù)化估計(jì)方法兩種類型，并分別介紹。

2 參數(shù)化估計(jì)方法

在理想條件下，pdf 可以用一組固定的參數(shù)集合λ 表示，即p(xk|z1:k)=p(xk，λk)，這時(shí)，濾波過程簡(jiǎn)化為由參數(shù)λk-1及觀測(cè)量zk估計(jì)參數(shù)λk，KFM、HMM 就是2 種典型的參數(shù)化估計(jì)方法。

2.1 卡爾曼濾波(Kalman Filter，KF)［12］

由于均值和方差2 個(gè)參數(shù)概括了高斯分布的全部特性，如果濾波過程中，每一時(shí)刻的pdf 都是高斯型的，可以用參數(shù)集合λ={m，P}完整地表示該函數(shù)。這樣，對(duì)pdf 的描述大大簡(jiǎn)化，使貝葉斯估計(jì)成為可能，KF 就是這一類估計(jì)方法。可以證明，若p(xk-1|z1:k-1)服從高斯分布，如果系統(tǒng)方程(2)、(4)滿足以下條件，則p(xk|z1:k)也服從高斯分布:vk-1、wk也服從高斯分布，分別對(duì)應(yīng)于方差Qk-1、Rk-1;函數(shù)fk(xk-1，vk-1)是xk-1、vk-1的線性函數(shù);函數(shù)hk(xk，wk)是xk、wk的線性函數(shù)。

此時(shí)，動(dòng)態(tài)方程(2)和觀測(cè)方程(4)簡(jiǎn)化為

KF 算法的遞推過程可描述為:

其中:

N(x;m，P)表示變量x 服從均值為m，方差為P 的高斯分布。

上述KF 方法對(duì)于滿足條件的系統(tǒng)，能在最小均方誤差意義下得到系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。但是，在實(shí)際情況下，狀態(tài)方程和觀測(cè)方程往往是非線性的。對(duì)于f 和h 為非線性函數(shù)的情況，式(2)、式(4)不能再由式(8)、式(9)簡(jiǎn)單表示，只能用一些近似的線性化方法，把非線性函數(shù)轉(zhuǎn)換為線型函數(shù)，然后利用線型濾波理論來處理。根據(jù)線性化方法的不同，這一類方法大致可分為擴(kuò)展的卡爾曼濾波方法(extended KF，EKF)和sigma 點(diǎn)卡爾曼濾波(sigma-point KF，SPKF)方法2 種。

2.1.1 擴(kuò)展的卡爾曼濾波

EKF 方法利用多維泰勒級(jí)數(shù)展開的一階截短，對(duì)非線性函數(shù)圍繞狀態(tài)的當(dāng)前估計(jì)值進(jìn)行線性化，即對(duì)于非線性函數(shù)y=g(x)，作如下處理:

對(duì)于式(2)、(4)中f 和h 為非線性函數(shù)的情況，應(yīng)用截短的泰勒級(jí)數(shù)展開，用代替KF 算法中的Fk，Hk，則非線性濾波問題轉(zhuǎn)化為線性濾波問題，對(duì)應(yīng)的算法就稱為EKF 算法。

顯然，式(18)中對(duì)高階項(xiàng)的忽略，只有在零階項(xiàng)、一階項(xiàng)之和遠(yuǎn)大于其他高階項(xiàng)時(shí)才能成立;而且，EKF 方法在線性化過程中，僅僅在狀態(tài)的當(dāng)前估計(jì)值這一點(diǎn)上作泰勒展開，而完全或略了隨機(jī)變量x 的概率分布特性，這會(huì)對(duì)估計(jì)結(jié)果的一致性與準(zhǔn)確性帶來很大的影響，甚至導(dǎo)致濾波發(fā)散［13］。

2.1.2 sigma 點(diǎn)卡爾曼濾波

針對(duì)EKF 存在的缺陷，最近出現(xiàn)了一系列新的非線性濾波算法［14-17］，這些算法無(wú)論是理論基礎(chǔ)還是實(shí)現(xiàn)形式，都顯示出很大的優(yōu)越性。Merwe［1］在統(tǒng)一的加權(quán)統(tǒng)計(jì)線性回歸(weighted statistical linear regression，WSLR)［18］理論基礎(chǔ)上，把它們歸結(jié)為SPKF 方法。

WSLR 提供了一種對(duì)隨機(jī)變量的非線性函數(shù)作線性化處理的有效方法，它通過在隨機(jī)變量的先驗(yàn)分布上抽取r 個(gè)采樣點(diǎn)，對(duì)每一個(gè)采樣點(diǎn)作非線性轉(zhuǎn)換，再對(duì)r 個(gè)轉(zhuǎn)換值作線性回歸，從而求得所需的均值和方差。由于WSLR 考慮了隨機(jī)變量的概率分布特性，因而比泰勒展開方法誤差更小。

對(duì)非線性函數(shù)y=g(x)，WSLR 需要在變量x 的分布上抽取r 個(gè)采樣點(diǎn)χi，i=1，…，r，并作變換γi=g(χi)，定義:其中{wi}是r 個(gè)回歸權(quán)值，滿足

對(duì)應(yīng)一個(gè)非線性函數(shù)，如何在隨機(jī)變量的先驗(yàn)分布上選取采樣點(diǎn)，也稱sigma 點(diǎn)，以及如何確定各點(diǎn)對(duì)應(yīng)的權(quán)值，成為一個(gè)關(guān)鍵問題。正是對(duì)這一問題的不同回答，導(dǎo)致產(chǎn)生無(wú)軌跡卡爾曼濾波(unscented kalman filter，UKF)［14］和中心差分卡爾曼濾波(central difference kalman filter，CDKF)［15，16］兩種不同的濾波方法。

UKF 方法對(duì)sigma 點(diǎn)及對(duì)應(yīng)權(quán)值的選取遵循以下原則:選取的sigma 點(diǎn)能夠捕獲隨機(jī)變量x 最重要的統(tǒng)計(jì)特性，并把sigma 點(diǎn)的選取問題轉(zhuǎn)化為以下的優(yōu)化問題:

其中〈χi，wi〉是全部的sigma 點(diǎn)及其權(quán)值集合。函數(shù)ξ(·)表示約束條件，C(·)是代價(jià)函數(shù)，代價(jià)函數(shù)包含期望的統(tǒng)計(jì)特性，ξ(·)是必須滿足的條件。在UKF 中，由于一階、二階矩是必須捕獲得統(tǒng)計(jì)特性，約束條件可表示為

代價(jià)函數(shù)C(·)的確定視需要而定。如果要降低高階矩的估計(jì)誤差，則C(·)可選為ξ3(·)或ξ4(·);如果要盡可能減少sigma 點(diǎn)的數(shù)目，則C(·)=r。

基本的UKF 濾波方法常選取以下的sigma 點(diǎn)及其對(duì)應(yīng)權(quán)值:

其中λ=α2( L+K)-L 是標(biāo)度因子。α 決定sigma 點(diǎn)在周圍的散布情況，β 為表明狀態(tài)x 概率分布先驗(yàn)知識(shí)的參數(shù)。詳細(xì)說明可參閱文獻(xiàn)［19］。

由Ito 等提出的CDKF 方法，基于斯特靈(stirling)內(nèi)插公式，利用中心插分代替式(18)中泰勒展開中的一階、二階級(jí)數(shù)。即令

當(dāng)狀態(tài)x 是多維向量時(shí)，通過線性變換作隨機(jī)解耦，使各狀態(tài)分量之間互不相關(guān)，從而把式(30)，式(31)擴(kuò)展到多維的情況。

利用中心差分方法進(jìn)行線性化時(shí)，sigma 點(diǎn)集及對(duì)應(yīng)權(quán)值為

其中h 為區(qū)間長(zhǎng)度參數(shù)，選擇合適的h 能減少非線性變換后均值與方差的估計(jì)誤差?？梢宰C明［16］，當(dāng)狀態(tài)x 服從高斯分布時(shí)，

確 定 了 sigma 點(diǎn) 集 及 其 對(duì) 應(yīng) 權(quán) 值 S ={( χi，wi)，i=1，…，r }以后，就得到SPKF 算法，由式(10)～式(12)及以下各式構(gòu)成:

2.2 分布擬合濾波(Assumed-density Filter)［20］

除非特殊情況，如高斯分布、泊松分布，一般的概率密度函數(shù)難以用一組簡(jiǎn)單的參數(shù)準(zhǔn)確表達(dá)。這時(shí)，常把真正的pdf p(xk|z1:k)投影到易于處理的概率分布q(x)上，即令p(xk|z1:k)=q(xk，λk)，其中λk為函數(shù)q(x)的參數(shù)，λk的選取應(yīng)該使兩函數(shù)p(x)、q(x)之間的Kullback-Leibler 距離最小，即

函數(shù)q(x)一般選作指數(shù)分布函數(shù)或者高斯分布函數(shù)，當(dāng)q(x)選作一簇高斯分布函數(shù)的和，即選取λk= {(ai，mxk，i，Pxk，i)|i=1，…，M}時(shí)，對(duì)應(yīng)的分布擬合算法就是高斯求和算法。此時(shí)

參數(shù)ai、mxk，i和Pxk，i確定以后，就可以通過M 個(gè)基本的卡爾曼濾波器并行濾波，對(duì)各自的狀態(tài)估計(jì)加權(quán)求和，得到所需的狀態(tài)估計(jì)值。在高斯求和濾波方法中，一個(gè)重要的問題是濾波過程中高斯混合項(xiàng)的個(gè)數(shù)隨時(shí)間呈指數(shù)增長(zhǎng)，如何有效地減少混合項(xiàng)的個(gè)數(shù)，使之保持在合理的數(shù)目?jī)?nèi)，成為該濾波方法的核心內(nèi)容?；痉椒òㄉ釛壔旌享?xiàng)中權(quán)值較小的項(xiàng);合并相似項(xiàng)等［3，23］。

2.3 隱馬爾可夫模型［3，25，26］

當(dāng)系統(tǒng)狀態(tài)變量是離散值時(shí)，觀測(cè)量與狀態(tài)并不總是一一對(duì)應(yīng)，而是通過一組概率分布相聯(lián)系，這時(shí)需要用HMM 來描述該系統(tǒng)。HMM 是一個(gè)雙重隨機(jī)過程，包括描述狀態(tài)轉(zhuǎn)移的基本的Markov 鏈隨機(jī)過程以及描述狀態(tài)和觀測(cè)量之間統(tǒng)計(jì)關(guān)系的隨機(jī)過程。它可以由以下參數(shù)描述:N 為Markov鏈中狀態(tài)的數(shù)目;M 為每個(gè)狀態(tài)所對(duì)應(yīng)的可能的觀測(cè)量的數(shù)目;π 為初始狀態(tài)概率向量，其中πi=P(x1=i)，1≤i≤N;A為狀態(tài)轉(zhuǎn)移概率矩陣，A = (aij)N×N，其中a ij = P(xi+1=j|xi=i)，1≤i，j≤N;B 為觀測(cè)值概率矩陣，B=(bjk)N×M，其中bjl=P(zk=l|xk=j)，1≤j≤N，1≤k≤M。這樣，可以記一個(gè)HMM 為η={N，M，π，A，B}。

同樣，HMM 對(duì)pdf 的求解也可以進(jìn)行參數(shù)化處理，即令p(x1:k|z1:k)=p(x1:k，λk)，其中λk=P(x1:k|z1:k，η)為隨機(jī)向量，表示狀態(tài)的離散分布。對(duì)HMM，在使用中需要解決以下3 個(gè)問題:

1)給定一個(gè)觀測(cè)序列z1:k和模型η，在最佳意義上確定一個(gè)狀態(tài)序列x1:k的問題，一般由遞推的Viterbi 算法［27］解決。

2)給定一個(gè)觀測(cè)序列z1:k和模型η，計(jì)算由模型η 產(chǎn)生出z1:k的概率，一般由前向—后向算法［28］求得。

3)給定一個(gè)觀測(cè)序列z1:k時(shí)，確定模型參數(shù)η，使得P(z1:k|η)最大的問題。Baum-Welch 算法［26］利用遞歸的思想，使P(z1:k|η)局部最大，最后得到模型參數(shù)η。另外，用梯度方法也能達(dá)到類似目的。

3 非參數(shù)化估計(jì)方法—序貫蒙特卡羅(sequential monte carlo，SMC)

實(shí)際應(yīng)用中，不是所有的pdf 都能用一組參數(shù)近似表示［24］;在某些情況下，特別是當(dāng)狀態(tài)x 維數(shù)較高時(shí)，難以得到積分式(5)的閉式解，這時(shí)需要尋求pdf 的其他表示方法。以SMC 為代表的新方法，不再尋求參數(shù)集合λ，而是用狀態(tài)空間中的一組隨機(jī)采樣點(diǎn)，又稱粒子，逼近pdf，這一類方法被稱為非參數(shù)化方法。

SMC 基于隨機(jī)模擬技術(shù)近似Markov 過程中難以處理的概率分布，尤其適用于狀態(tài)連續(xù)且維數(shù)較高的系統(tǒng)。其核心思想是在任一時(shí)刻k，用N 個(gè)粒子及其相應(yīng)重要性權(quán)值表示連續(xù)的pdf p(xk|z1:k)，并通過粒子及其權(quán)值計(jì)算狀態(tài)估計(jì)值。當(dāng)粒子個(gè)數(shù)趨于無(wú)窮大時(shí)，Monte Carlo 模擬的概率密度函數(shù)等價(jià)于pdf，相應(yīng)的狀態(tài)估計(jì)值接近于最優(yōu)的貝葉斯估計(jì)。

設(shè)在k-1 時(shí)刻，pdf 近似為

其中δ(·)為沖激響應(yīng)函數(shù)。利用上面的表達(dá)式，積分式(5)可以表示為

這樣，貝葉斯估計(jì)中所有的連續(xù)函數(shù)的積分運(yùn)算都由容易處理的離散求和形式代替，從而得到pdf 的估計(jì)為

SMC 方法在濾波過程中，粒子重要性權(quán)值的方差隨時(shí)間持續(xù)增加，這使得濾波性能降低。經(jīng)過幾次遞推后，將導(dǎo)致粒子集合中只有一個(gè)狀態(tài)粒子的重要性權(quán)值較大，其余粒子權(quán)值為零，這種現(xiàn)象稱為粒子多樣性的喪失［1］。當(dāng)有效粒子數(shù)目太小時(shí)，對(duì)pdf 的描述就不準(zhǔn)確，甚至導(dǎo)致濾波發(fā)散。選取合適的重要性概率密度函數(shù)(importance density)或重采樣方法，都能夠降低由于粒子多樣性喪失產(chǎn)生的粒子匱乏現(xiàn)象所造成的影響。

3.1 重要性概率密度函數(shù)的選取

實(shí)際應(yīng)用中，先驗(yàn)性概率密度函數(shù)p(xk|xk-1)是使用最多的重要性概率密度函數(shù)，但它沒有融入最新的觀測(cè)量所包含的信息，導(dǎo)致重要性權(quán)值方差太大，從而不能準(zhǔn)確描述pdf。Doucet 等［29］證明了最優(yōu)的重要性概率密度函數(shù)能使重要性權(quán)值的方差最小，并指出其形式為

但是，在實(shí)際應(yīng)用中，p(xk|xk-1，zk)的獲取與直接從pdf 中抽取樣本具有同樣的難度，因而只能尋求次優(yōu)的重要性概率密度函數(shù)。

擴(kuò)展的卡爾曼粒子濾波器［30］(extended kalman particle filter，EKPF)，在k 時(shí)刻的觀測(cè)量到達(dá)后，利用EKF 計(jì)算k-1時(shí)刻每一個(gè)粒子的在k 時(shí)刻對(duì)應(yīng)的均值和方差，然后，以此均值和方差為基礎(chǔ)，構(gòu)造高斯分布函數(shù)作為新的重要性概率密度函數(shù)，并從這一函數(shù)中抽取相應(yīng)的粒子。大量的應(yīng)用［31］顯示，該方法能改善粒子濾波器的性能。由于前面所述EKF 的缺陷，用SPKF 代替EKF 形成的新算法sigma 點(diǎn)粒子濾波器［17，32］(sigma-point particle filter，SPPF)具有更好的性能。

3.2 重采樣

重采樣方法提供了解決SMC 中，狀態(tài)估計(jì)性能急劇下降問題的另外一種途徑。它通過對(duì)粒子及其相應(yīng)權(quán)值表示的概率密度函數(shù)選擇性地重新采樣，消除權(quán)值較低的粒子，增加權(quán)值較高的粒子個(gè)數(shù)。經(jīng)常使用的重采樣方法包括殘差重采樣(residual resampling)、系統(tǒng)重采樣(systematic resampling)等［33，2］。

雖然重采樣過程能在一定程度上降低濾波性能退化的問題，它同時(shí)也帶來粒子來源路徑的多樣性降低，高權(quán)值粒子過分聚集的問題。平滑采樣方法［34］(sampling smoothing method)通過給重采樣后的粒子附加獨(dú)立的偏差，以及增加采樣前粒子的個(gè)數(shù)來緩解這一問題。其他的采樣方法，也能改善濾波性能降低的問題，這些技術(shù)包括局部線性化方法、拒絕采樣方法、輔助粒子濾波、內(nèi)核平滑以及采用MCMC 等［30，33-37］。

3.3 計(jì)算量降低

SMC 的另外一個(gè)缺陷是當(dāng)系統(tǒng)狀態(tài)維數(shù)較高時(shí)，所需采樣的粒子個(gè)數(shù)迅速增加，加大了濾波代價(jià)，同時(shí)降低了粒子的采樣效率［38］。在有些情況下，狀態(tài)變量可以分割為兩部分，即xk=)，其中可以被解析地邊緣化。這時(shí)，可以使用普通的濾波方法，如KF、HMM，對(duì)濾波，同時(shí)利用PF 對(duì)濾波，這一技術(shù)稱為Rao-Blackwellisation［39］，它能夠降低采樣空間的維數(shù)，同時(shí)減少所需采樣粒子的個(gè)數(shù)。

自適應(yīng)粒子濾波器(adaptive particle filter，APF)［40］通過適時(shí)調(diào)整濾波中的粒子個(gè)數(shù)，也達(dá)到降低計(jì)算量的目的。APF 在濾波中，適時(shí)地計(jì)算粒子集合所表示的pdf 與真實(shí)的pdf 之間的Kullback-Leibler 距離，自適應(yīng)地調(diào)整用于逼近pdf的粒子個(gè)數(shù)，在同樣的濾波效果下，能夠降低計(jì)算代價(jià)。

無(wú)論是Rao-Blackwellisation 方法還是APF 方法，在減少計(jì)算量的同時(shí)，都能夠改善PF 中粒子枯竭的現(xiàn)象。

4 結(jié)束語(yǔ)

本文介紹了一系列概率推理方法的理論基礎(chǔ)、應(yīng)用條件及特點(diǎn)，并把它們統(tǒng)一于貝葉斯估計(jì)的框架之下。概括地講，對(duì)于Markov 條件下的濾波問題，HMM 是離散狀態(tài)估計(jì)的有效方法，KF 對(duì)線性、高斯條件下的連續(xù)狀態(tài)估計(jì)提供了最優(yōu)的解決方案，SMC 對(duì)非線性、非高斯問題的處理，顯示出良好的應(yīng)用前景。由于SMC 對(duì)問題的描述更接近問題的本源，它代表了貝葉斯估計(jì)未來的發(fā)展方向。

由于在認(rèn)識(shí)、改造自然的過程中，經(jīng)常會(huì)遇到隱含的、不確定性的問題，而概率推理方法，尤其是貝葉斯估計(jì)，提供了一部分問題的解決方案，貝葉斯估計(jì)方法正受到越來越廣泛地關(guān)注，一系列重要的研究成果也在最近幾年涌現(xiàn)出來。關(guān)于貝葉斯估計(jì)方法近期內(nèi)可能的發(fā)展，主要有以下幾個(gè)方向:

1)KF 框架在非線性較弱的條件下，仍不失為處理非線性問題的一種簡(jiǎn)潔、有效的方法。在線性化方法的選擇上，除了傳統(tǒng)的泰勒展開，最近發(fā)展的斯特靈插值，也可以考慮巴德(Padé)逼近方法，形成基于巴德逼近的新的SPKF 方法，因?yàn)閷?duì)于相同階數(shù)的多項(xiàng)式，巴德逼近具有更高的精度。

2)粒子濾波方法是當(dāng)前研究的熱點(diǎn)，結(jié)合其他濾波方法，提供更優(yōu)的重要性概率密度函數(shù);設(shè)計(jì)更優(yōu)的重采樣方法，減少重要性權(quán)值的方差，將繼續(xù)成為今后的研究重點(diǎn)。

3)基于隨機(jī)集合(Random set)理論的有限集合統(tǒng)計(jì)理論(finite set statistics，F(xiàn)ISST)［41-44］，是貝葉斯估計(jì)理論的自然擴(kuò)展，能夠處理系統(tǒng)狀態(tài)的維數(shù)隨時(shí)間發(fā)生變化的貝葉斯估計(jì)問題，適用于處理多目標(biāo)跟蹤、定位與識(shí)別問題。特別是FISST 與SMC 方法的結(jié)合，是一個(gè)值得注意的研究方向。

［1］Merwe R V.Sigma-Point Kalman filters for probabilistic inference in dynamic state-space models［D］.USA:School of Science ＆ Engineering at Oregon Health ＆ Science University，2004.

［2］Kitagawa G.Monte Carlo filter and smoother for non-Gaussian nonlinear state space models［J］. Journal of Computational and Graphical Statistics，1996（5）:1-25.

［3］Kitagawa G.The two-filter formula for smoothing and an implementation of the Gaussian-sum smoother［J］.Annals Institute of Statistical Mathematics，1994，46（4）:605-623.

［4］Fong W，Doucet A，West M. Monte Carlo smoothing with application to audio signal enhancement［J］.IEEE Transactions on Signal Processing，2001.

［5］Martinerie F and Forster P.Data association and tracking using hidden Markov models and dynamic programming［C］//Proceedings of IEEE International Conference on Acoustic，Speech and Signal Processing.San Francisco，USA:IEEE，1992.

［6］Rabiner L R.A tutorial on hidden Markov models and selected applications in speech recognition［J］. Proc. IEEE，1989，77（2）:257-285.

［7］Rabiner L R，Juang B H.An introduction to hidden Markov models［J］.IEEE Acoustic，Speech，Signal Processing Magazine，1986:4-16.

［8］Kalman R E.A new approach to linear filtering and prediction problems［J］. Transactions of the ASME-Journal of Basic Engineering，1960:82（D）:35-45.

［9］Neal R. Markov chain sampling methods for Dirichlet process mixture models［J］. Journal of Computational and Graphical Statistics，2000:249-265.

［10］Saul L K，Jordan M I.Mixed memory Markov models: Decomposing complex stochastic processes as mixtures of simpler ones［J］.Machine Learning，1999，37（1）:75-87.

［11］Lerner U，Parr R.Inference in hybrid networks:Theoretical limits and practical algorithms［C］//Proc.of Uncertainty in Artificial Intelligence（UAI）.［S.l.］:［s.n.］，2001:310-318.

［12］Arulampalam M S，Maskell S.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50（2）:174-188.

［13］Wan E A，Merwe R.The unscented Kalman filter for nonlinear estimation［C］//In Proceedings of IEEE Symposium on Adaptive Systems for Signal Processing Communications and Control.Lake Louise Canada:IEEE，2000:153-158.

［14］Julier S J，Uhlmann J K.Unscented filtering and nonlinear estimation［J］. Proceeding of the IEEE，2004，92（3）:401-422.

［15］Ito K，Xiong K.Gaussian filters for nonlinear filtering problems［J］.IEEE Transactions on Automatic Control，2000，45（5）:910-927.

［16］N?rgaard M，Poulsen N，Ravn O.New developments in state estimation for nonlinear systems［J］. Automatica，2000（36）:1627-1638.

［17］Merwe R，Wan E A.Sigma-point Kalman filters for probabilistic inference in dynamic state-space models［C］//Proceedings of the Workshop on Advances in Machine Learning.Montreal，Canada，2003.

［18］Schei T S. A Finite-difference method for linearization in nonlinear estimation algorithms［J］. Automatica，1997，33（11）:2051-2058.

［19］西蒙·赫金.自適應(yīng)濾波器原理［M］.鄭寶玉，譯.北京:電子工業(yè)出版社，2003:613-617.

［20］Minka T. A family of algorithms for approximate Bayesian inference［D］.USA:MIT Media Lab，MIT，2001.

［21］Alspach D L，Sorenson H W.Nonlinear Bayesian estimation using Gaussian sum approximations［J］.IEEE Transactions on Automatic Control，1972，17（4）:439-448.

［22］Sorenson H W，Alspach D L.Recursive Bayesian estimation using Gaussian sums［J］.Automatica，1971（7）:465-479.

［23］Cowell R G，Dawid A P，Sebastiani P.A comparison of sequential learning methods for incomplete data［J］.Bayesian Statistics，1996（5）:581-588.

［24］Murphy K.Dynamic Bayesian networks:Representation，inference and learning［D］. USA: University of California，Berkeley，CA，July 2002.

［25］Streit R L and Barrett R F. Frequency line tracking using hidden Markov models［J］.IEEE Transactions on Acoustic，Speech and Signal Processing，1990（38）:586-598.

［26］楊行峻 遲惠生.語(yǔ)音信號(hào)數(shù)字處理［M］.北京:電子工業(yè)出版社，1995:129-162.

［27］Forney G D. The Viterbi algorithm［J］. Proceeding IEEE，1973（61）:268-278.

［28］Baum L E，Egon J A.An inequality with applications to statistical estimation for probabilistic functions of a Markov process and to a model for ecology［J］.Bull.America Meteorol.Society，1967，73:360-363.

［29］Doucet A，Godsill S，Andrieu C.On sequential Monte Carlo sampling methods for Bayesian filtering［J］.Statistical Computation，2000，10（3）:197-208.

［30］de Freitas N，Niranjan M.Sequential Monte Carlo methods for optimization of neural network models［R］.CUED/F-INFENG/TR328，Department of Engineering，University of Cambridge，1998.

［31］Doucet A，F(xiàn)reitas N，Gordon N. Sequential Monte-Carlo methods in practice［M］.Springer-Verlag，2001.

［32］Liu J S，Chen R. Sequential Monte Carlo methods for dynamical systems［J］.Journal of American Statistics Association，1998（93）:1032-1044.

［33］Oudjane N，Musso C.Progressive correction for regularized particle filters information fusion［C］//Proceedings of the Third International Conference. FUSION 2000. Page（s）:THB2/10-THB2/17.

［34］Gordon N，Salmond D，Smith A F M. Novel approach to nonlinear and non-Gaussian Bayesian state estimation［C］//IEE Proceedings on Radar and Signal Processing.UK:IEE，1993，140:107-113.

［35］Doucet A，Gordon N. Efficient particle filters for tracking manoeuvering targets in clutter target tracking: Algorithms and applications［J］.IEE Colloquium，1999，11:4/1-4/5.

［36］Pitt M，Shephard Neil. Filtering via simulation: Auxiliary particle filters［J］.Journal of the American statistical Association，1999，94（446）:590-599.

［37］Andrieu Cand，Doucet A. Joint Bayesian model selection and estimation of noisy sinusoids via reversible jump MCMC Signal Processing［J］. IEEE Transactions on Acoustics，Speech，and Signal Processing，1999，47（10）:2667-2676.

［38］Arnaud Doucet_ Murphy N.Rao-Blackwellised particle filtering for dynamic Bayesian networks［C］//Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.［S.l.］:［s.n.］，176-183.

［39］Casella G. Rao-Blackwellisation of sampling schemes［J］.Biometrica，1996，83（1）:81-94.

［40］Fox D.KLD-sampling:Adaptive particle filters［J］.In Advances in Neural Information Processing Systems，2001（14）:713-720.

［41］Mahler R.Random sets:Unification and computation for information fusion—a retrospective assessment［C］//7th International Conference on Information Fusion. Stockholm，Sweden:FUSION，2004.

［42］Ba-Ngu Vo，Singh S，Doucet A. Sequential Monte Carlo methods for multi-target filtering with random finite sets［J］.IEEE Transactions on Aerospace and Electronic Systems，2005.

［43］Mahler R. Multitarget Bayes filtering via first-order multitarget moments［J］.IEEE Transactions on Aerospace and Electronic Systems，2003，39（4）:1152-1178.

［44］Vihola M.Random Set Particle Filter for Bearings-only multitarget tracking［C］//Proceedings of SPIE in Signal Processing，Sensor Fusion，and Target Recognition XIV.Orlando，F(xiàn)lorida:Ivan Kadar，2005，301-312.