未知狀態(tài)模型下基于高階容積卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)算法

許大星 王海倫,2

1(衢州學(xué)院電氣與信息工程學(xué)院 浙江 衢州 324000)2(上海海事大學(xué)物流工程學(xué)院 上海 201306)

未知狀態(tài)模型下基于高階容積卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)算法

許大星1王海倫1,2

1(衢州學(xué)院電氣與信息工程學(xué)院 浙江 衢州 324000)2(上海海事大學(xué)物流工程學(xué)院 上海 201306)

針對(duì)非線性系統(tǒng)狀態(tài)模型未知的情形,提出一種基于高階容積卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)算法，解決了未知非線性系統(tǒng)模型的狀態(tài)估計(jì)問題。在算法的實(shí)現(xiàn)過程中，首先利用神經(jīng)網(wǎng)絡(luò)對(duì)非線性系統(tǒng)建立狀態(tài)空間模型，然后把神經(jīng)網(wǎng)絡(luò)的權(quán)重和系統(tǒng)的狀態(tài)變量組合在一起作為新的狀態(tài)變量，并采用高階容積卡爾曼濾波對(duì)新的狀態(tài)進(jìn)行實(shí)時(shí)更新，從而達(dá)到神經(jīng)網(wǎng)絡(luò)對(duì)非線性系統(tǒng)模型的真實(shí)逼近以及對(duì)狀態(tài)值的精確估計(jì)。最后的目標(biāo)跟蹤仿真表明，該算法具有更高的估計(jì)精度。

非線性系統(tǒng) 未知模型 高階容積卡爾曼濾波 神經(jīng)網(wǎng)絡(luò)

0 引 言

根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可分為前向神經(jīng)網(wǎng)絡(luò)和后向神經(jīng)網(wǎng)絡(luò)。20世紀(jì)80年代，Rumelhard等基于前向神經(jīng)網(wǎng)絡(luò)提出誤差反向傳播算法，因其算法結(jié)構(gòu)簡單，易于實(shí)現(xiàn)且具有很強(qiáng)的非線性映射能力，已廣泛應(yīng)用在航空航天、智能交通、模式識(shí)別以及醫(yī)學(xué)工程等領(lǐng)域中[1]。

當(dāng)系統(tǒng)模型未知時(shí)，采用神經(jīng)網(wǎng)絡(luò)對(duì)模型進(jìn)行非線性近似是一種簡單而有效的方法。神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際數(shù)據(jù)集確定網(wǎng)絡(luò)逼近的非線性函數(shù)，然而，當(dāng)實(shí)際系統(tǒng)的狀態(tài)變量不完全可測(cè)時(shí)，單獨(dú)采用神經(jīng)網(wǎng)絡(luò)將無法建立過程的模型。狀態(tài)空間模型法對(duì)系統(tǒng)的內(nèi)部狀態(tài)和外部可觀測(cè)輸出變量之間的變化關(guān)系進(jìn)行描述。由于該方法可以對(duì)系統(tǒng)內(nèi)部復(fù)雜的狀態(tài)進(jìn)行估計(jì)和預(yù)測(cè)，因此已經(jīng)被廣泛地應(yīng)用在動(dòng)態(tài)系統(tǒng)的處理當(dāng)中。對(duì)系統(tǒng)的狀態(tài)空間模型建立完成之后，就需要利用合適的方法對(duì)系統(tǒng)的狀態(tài)進(jìn)行估計(jì)。濾波方法在狀態(tài)空間中利用系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)[2]。這種濾波的方法不僅可以對(duì)狀態(tài)進(jìn)行估計(jì)，還可以對(duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)參數(shù)進(jìn)行辨識(shí)。

非線性濾波算法在參數(shù)估計(jì)中得到了長足的發(fā)展，特別是在神經(jīng)網(wǎng)絡(luò)的參數(shù)辨識(shí)方面，其將網(wǎng)絡(luò)的權(quán)系數(shù)參數(shù)看作特殊的狀態(tài)進(jìn)行估計(jì)。文獻(xiàn)[3]首先利用神經(jīng)網(wǎng)絡(luò)建立狀態(tài)空間模型，將網(wǎng)絡(luò)權(quán)系數(shù)作為系統(tǒng)的狀態(tài)變量，進(jìn)而基于擴(kuò)展卡爾曼濾波算法對(duì)狀態(tài)變量進(jìn)行實(shí)時(shí)更新。仿真實(shí)驗(yàn)表明，其效果明顯優(yōu)于傳統(tǒng)的誤差反向傳播算法，特別是存在明顯噪聲的干擾下更能取得較高的估計(jì)精度。擴(kuò)展卡爾曼濾波是目前應(yīng)用最為廣泛的一種非線性濾波方法，然而當(dāng)系統(tǒng)的非線性程度較高，一階近似會(huì)帶來非常大的截?cái)嗾`差，擴(kuò)展卡爾曼濾波算法的估計(jì)性能將隨之大大下降，甚至發(fā)散[4]。由于擴(kuò)展卡爾曼濾波穩(wěn)定性差、精度低等缺點(diǎn)，Julier等提出了無跡卡爾曼濾波，使用無跡變換來處理均值和方差的非線性傳遞[5]。已經(jīng)有不少學(xué)者利用無跡卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)來解決未知系統(tǒng)模型的非線性系統(tǒng)狀態(tài)估計(jì)問題。文獻(xiàn)[6]提出了應(yīng)用無跡卡爾曼濾波算法對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)系數(shù)進(jìn)行在線估計(jì)。文獻(xiàn)[7]對(duì)基于擴(kuò)展卡爾曼濾波和無跡卡爾曼濾波的神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了實(shí)驗(yàn)對(duì)比，結(jié)果表明，基于無跡卡爾曼濾波算法的神經(jīng)網(wǎng)絡(luò)算法明顯優(yōu)于基于擴(kuò)展卡爾曼濾波算法的神經(jīng)網(wǎng)絡(luò)算法。然而無跡卡爾曼濾波的精度仍然有限，當(dāng)系統(tǒng)維數(shù)較高時(shí)，其估計(jì)性能明顯降低。為了進(jìn)一步提高狀態(tài)的估計(jì)精度，文獻(xiàn)[8]提出了一種基于任意階容積規(guī)則的高階容積卡爾曼濾波，分別使用Genz積分方法和矩匹配法推導(dǎo)出任意階的球面規(guī)則和相徑規(guī)則，從而構(gòu)造高階球面-相徑容積規(guī)則來計(jì)算高斯型積分，并建立高階容積卡爾曼濾波算法。文獻(xiàn)[9]對(duì)無跡卡爾曼濾波算法和高階容積卡爾曼濾波算法的精度和適用范圍進(jìn)行了對(duì)比，結(jié)果表明，高階容積卡爾曼濾波算法對(duì)高維系統(tǒng)適用性更強(qiáng)，估計(jì)誤差更小。

基于此，本文針對(duì)未知狀態(tài)模型的非線性系統(tǒng)，首先利用神經(jīng)網(wǎng)絡(luò)建立狀態(tài)空間模型，將網(wǎng)絡(luò)的權(quán)系數(shù)和系統(tǒng)的狀態(tài)組合一起為增廣的狀態(tài)變量。然后采用高階容積卡爾曼濾波算法對(duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)狀態(tài)進(jìn)行估計(jì)預(yù)測(cè)，從而實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)系數(shù)的自適應(yīng)調(diào)整和狀態(tài)的實(shí)時(shí)更新。

1 神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間模型

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型一般可分為前饋神經(jīng)網(wǎng)絡(luò)模型、反饋神經(jīng)網(wǎng)絡(luò)模型以及隨機(jī)神經(jīng)網(wǎng)絡(luò)模型等。目前在各個(gè)行業(yè)領(lǐng)域中前饋神經(jīng)網(wǎng)絡(luò)模型應(yīng)用最為廣泛，其狀態(tài)空間的模型結(jié)構(gòu)如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)

圖1中，x1,x2,…,xn用來表示輸入的樣本節(jié)點(diǎn)，y1,y2,…,ym用來表示輸出樣本節(jié)點(diǎn)，θ1,θ2,…,θq表示權(quán)重系數(shù)。該神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)共有三個(gè)節(jié)點(diǎn)層，分別為輸入層、隱層和輸出層，各個(gè)層之間通過權(quán)系數(shù)進(jìn)行連接，輸入輸出層在兩端，中間隱含層的節(jié)點(diǎn)數(shù)根據(jù)實(shí)際要求進(jìn)行選取。

2 高階容積卡爾曼濾波原理

首先考慮如下離散非線性系統(tǒng)：

xk=f(xk-1)+wk

(1)

zk=h(xk)+vk

(2)

其中，xk為n維的狀態(tài)向量；zk為m維的觀測(cè)向量；函數(shù)f，h為已知的非線性函數(shù)；{wk}與{vk}均為獨(dú)立的零均值高斯白噪聲。

對(duì)于一般的非線性系統(tǒng)，在高斯假設(shè)下可將貝葉斯估計(jì)基本理論與任意階容積規(guī)則相結(jié)合，從而推導(dǎo)出高階的容積卡爾曼濾波。與無跡卡爾曼濾波結(jié)構(gòu)相同，同樣分為狀態(tài)預(yù)測(cè)(時(shí)間更新)和測(cè)量更新兩個(gè)步驟，主要是高階容積卡爾曼濾波利用容積點(diǎn)逼近狀態(tài)的后驗(yàn)分布。該算法具有精度高、穩(wěn)定性強(qiáng)、參數(shù)選取簡單的優(yōu)點(diǎn)。文獻(xiàn)[9]對(duì)比了UKF算法和CKF算法的精度和適用范圍,表明CKF算法效率更高,尤其是對(duì)高維系統(tǒng)的適用性更強(qiáng)。高階容積規(guī)則滿足：

(3)

(4)

(5)

(6)

(7)

(8)

3 基于高階容積卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)

當(dāng)系統(tǒng)的模型未知時(shí)，采用神經(jīng)網(wǎng)絡(luò)對(duì)系統(tǒng)模型進(jìn)行建模逼近，那么就需要求解最優(yōu)的網(wǎng)絡(luò)節(jié)點(diǎn)權(quán)系數(shù)，同時(shí)狀態(tài)也是未知的。然而，狀態(tài)與權(quán)系數(shù)是彼此聯(lián)系的，因此，本文將系統(tǒng)的狀態(tài)和權(quán)系數(shù)組合在一起作為新的狀態(tài)空間，將原來的系統(tǒng)方程和權(quán)系數(shù)方程的增廣方程作為新的系統(tǒng)模型，進(jìn)而利用高階容積卡爾曼濾波算法對(duì)狀態(tài)和權(quán)系數(shù)實(shí)時(shí)估計(jì)，具體的系統(tǒng)原理如圖2所示。

圖2 狀態(tài)估計(jì)系統(tǒng)

圖2中，在k-1時(shí)刻，原系統(tǒng)的狀態(tài)xk-1與權(quán)系數(shù)Wk-1組合成新的增廣狀態(tài)向量[xk-1Wk-1]，輸入到神經(jīng)

網(wǎng)絡(luò)中，進(jìn)而高階容積卡爾曼濾波根據(jù)增廣狀態(tài)和神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行時(shí)間更新步驟。最后高階容積卡爾曼濾波結(jié)合時(shí)間更新的結(jié)果和測(cè)量的輸出結(jié)構(gòu)進(jìn)行時(shí)間更新得到k時(shí)刻的系統(tǒng)增廣狀態(tài)值[xkWk]，并作為下次系統(tǒng)的輸入狀態(tài)。具體算法如下：

首先將系統(tǒng)的狀態(tài)與神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)組合起來，形成增廣狀態(tài)xa=[xW]T，則可建立如下所示的非線性系統(tǒng)：

(9)

(10)

其中，fj(xk)為神經(jīng)網(wǎng)絡(luò)對(duì)非線性系統(tǒng)建立的數(shù)學(xué)模型：

(11)

g(x)為神經(jīng)網(wǎng)絡(luò)Sigmod核函數(shù)，Wk為神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)，新系統(tǒng)的過程噪聲wk和觀測(cè)噪聲vk均為獨(dú)立的零均值高斯白噪聲，并且對(duì)應(yīng)的協(xié)方差矩陣分別為Qk、Rk。

然后對(duì)狀態(tài)進(jìn)行時(shí)間更新：

1) 在時(shí)刻k，假設(shè)k-1時(shí)刻的誤差協(xié)方差已知且為Pk-1|k-1，分解因數(shù)：

(12)

其中，向量Sk-1|k-1為Pk-1|k-1的Cholesky分解。

2) 計(jì)算容積點(diǎn)：

(13)

其中m=2n，向量ξi為：

(14)

(15)

3) 計(jì)算狀態(tài)方程傳播后的容積點(diǎn)(i=1,2,…,m)：

(16)

4) 計(jì)算一步狀態(tài)預(yù)測(cè)：

(17)

其中，權(quán)值wi分別為：

(18)

5) 計(jì)算一步預(yù)測(cè)誤差協(xié)方差矩陣：

(19)

最后進(jìn)行測(cè)量更新：

1) 分解因數(shù)：

(20)

2) 計(jì)算更新后的狀態(tài)容積點(diǎn)：

(21)

3) 計(jì)算測(cè)量方程傳播后的容積點(diǎn)：

(22)

4) 計(jì)算k時(shí)刻一步量測(cè)預(yù)測(cè)：

(23)

5) 計(jì)算新息協(xié)方差矩陣：

(24)

6) 計(jì)算一步預(yù)測(cè)互協(xié)方差矩陣：

(25)

7) 計(jì)算增益矩陣：

(26)

8) 計(jì)算更新狀態(tài)：

(27)

9) 計(jì)算協(xié)方差矩陣：

(28)

4 實(shí)驗(yàn)仿真

考慮如下非線性目標(biāo)跟蹤系統(tǒng)離散模型[10]：

(29)

y(k)=x1(k)+x2(k)+v(k)

(30)

為了對(duì)比方便，本文對(duì)算法進(jìn)行如下簡單標(biāo)記：

算法1：基于高階容積卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的估計(jì)算法；

算法2：基于無跡卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的估計(jì)算法。

仿真結(jié)果如圖3-圖6及表1所示。

圖3 狀態(tài)1的估計(jì)曲線

圖4 狀態(tài)2的估計(jì)曲線

圖5 狀態(tài)1的估計(jì)誤差曲線

圖6 狀態(tài)2的估計(jì)誤差曲線

表1 估計(jì)誤差對(duì)比

從圖3和圖4的估計(jì)曲線來看，算法1和算法2都能對(duì)原始狀態(tài)進(jìn)行較好的跟蹤估計(jì)，說明兩種算法都是有效的。從圖4和圖5的估計(jì)誤差曲線來看，兩種算法的誤差很快趨于穩(wěn)定，且算法1的誤差明顯要小于算法2的誤差。從表1的統(tǒng)計(jì)數(shù)據(jù)來看，算法1的狀態(tài)估計(jì)精度大大高于算法2，特別是在對(duì)狀態(tài)2的估計(jì)精度上，算法2的估計(jì)誤差是算法1估計(jì)誤差的兩倍多。這主要是因?yàn)楦唠A容積卡爾曼濾波算法的估計(jì)精度高于無跡卡爾曼濾波算法，從而說明了基于高階容積卡爾曼濾波和神經(jīng)網(wǎng)絡(luò)的估計(jì)算法的有效性。

5 結(jié) 語

本文針對(duì)狀態(tài)模型未知的非線性系統(tǒng)，提出了一種基于高階容積卡爾曼濾波算法和神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)算法，解決了現(xiàn)有的基于非線性濾波和神經(jīng)網(wǎng)絡(luò)的算法對(duì)狀態(tài)估計(jì)的精度受限的缺陷問題。首先利用神經(jīng)網(wǎng)絡(luò)對(duì)系統(tǒng)狀態(tài)進(jìn)行建模，并利用高階容積卡爾曼濾波算法對(duì)系統(tǒng)狀態(tài)和神經(jīng)網(wǎng)絡(luò)權(quán)重組合成的新狀態(tài)變量進(jìn)行實(shí)時(shí)更新估計(jì)。所提算法彌補(bǔ)了現(xiàn)有算法的不足，提高了基于神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)精度，仿真實(shí)驗(yàn)表明了本文所提算法的有效性。本文所解決的是模型未知且輸出為狀態(tài)的線性組合的情況下， 非線性系統(tǒng)的狀態(tài)估計(jì)問題相對(duì)于估計(jì)狀態(tài)為可測(cè)量對(duì)象的系統(tǒng)，更具有現(xiàn)實(shí)意義。但是對(duì)于輸出為狀態(tài)的非線性關(guān)系的狀態(tài)估計(jì)問題，由于非線性函數(shù)中狀態(tài)與狀態(tài)的分離和狀態(tài)的可觀性難以確定，是一個(gè)更復(fù)雜的問題還需進(jìn)一步的研究。

[1] 彭玉青,趙翠翠,高晴晴.基于RBF神經(jīng)網(wǎng)絡(luò)的集成增量學(xué)習(xí)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2016,33(6):246-250.

[2] 南敬昌,桑百行,高明明.新穎的神經(jīng)網(wǎng)絡(luò)逆建模方法及其應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件,2016,33(1):147-150.

[3]SinghalS,WuL.TrainingmultilayerperceptionswiththeextendedKalmanalgorithm[M]//AdvanceinNeuralInformationProcessingSystems.California:MorganKaufmannPublisherInc,1989,1:133-140.

[4] 王英博,閆吉府,李仲學(xué).遺傳算法優(yōu)化徑向基神經(jīng)網(wǎng)絡(luò)的尾礦庫安全預(yù)測(cè)[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(3):182-184.

[5] 高憲軍,翟林培.GPS/INS組合導(dǎo)航系統(tǒng)的研究[J].光學(xué)精密工程,2004,12(2):146-150.

[6]ZhaF,XuJN.IUKFneuralnetworkmodelingforFOGtemperaturedrift[J].IEEETransonSystemsEngineeringandElectronics,2013,24(5):838-844.

[7]WuXD,WangYN.ExtendedandUnscentedKalmanfilteringbasedfeedforwardneuralnetworksfortimeseriesprediction[J].AppliedMathematicalModelling,2012,36(3):1123-1131.

[8]JiaB,XinM,ChengY.High-degreecubatureKalmanfilter[J].Automatica,2013,49(2):510-518.

[9] 張龍,崔乃剛,楊峰,等.高階容積卡爾曼濾波及其在目標(biāo)跟蹤中的應(yīng)用[J].哈爾濱工程大學(xué)學(xué)報(bào),2016,37(4):573-578.

[10]XiongK,ZhangHY,ChanCW.PerformanceevaluationofUKF-basednonlinearfiltering[J].Automatica,2014,42(2):261-270.

STATE ESTIMATION ALGORITHM BASED ON HIGH ORDER CUBATURE KALMAN FILTER AND NEURAL NETWORK WITH UNKNOWN STATE MODEL

Xu Daxing1Wang Hailun1,2

1(CollegeofElectricalandInformationEngineering,QuzhouUniversity,Quzhou324000,Zhejiang,China)2(LogisticsEngineeringCollege,ShanghaiMaritimeUniversity,Shanghai201306,China)

In view of the nonlinear state model of the system is unknown, this paper presents a state estimation algorithm based on high order cubature Kalman filter and neural network to solve the problem of state estimation of unknown nonlinear system model. The neural network is used to establish the state space model for the nonlinear system. Then, the weight of the neural network and the state of the system variables together are combines as the new state variables. And the new state is updated in real time by high order cubature Kalman filter, so as to achieve the neural network on the nonlinear system model of the real approximation and accurate estimation of the state value. The final target tracking simulation shows that the algorithm has higher estimation accuracy.

Nonlinear system Unknown model High order cubature Kalman filter Neural network

2017-01-06。國家自然科學(xué)基金項(xiàng)目(61403229)；浙江省科技廳公益項(xiàng)目(2015C33230)。許大星，助教，主研領(lǐng)域：狀態(tài)估計(jì)，非線性濾波。王海倫，副教授。

TP18

A

10.3969/j.issn.1000-386x.2017.06.046