基于貝葉斯正則化的Elman-NARX神經(jīng)網(wǎng)絡(luò)飛行軌跡預(yù)測(cè)*

張振興，楊任農(nóng)，房育寰

（空軍工程大學(xué)航空航天工程學(xué)院，西安 710038）

0 引言

近年來(lái)，飛行軌跡預(yù)測(cè)一直是個(gè)研究熱點(diǎn)，飛行軌跡的準(zhǔn)確預(yù)測(cè)在未來(lái)空中管理系統(tǒng)和作戰(zhàn)飛機(jī)控制中發(fā)揮著重要作用。根據(jù)安裝位置的不同，航跡預(yù)測(cè)可以分為機(jī)載航跡預(yù)測(cè)系統(tǒng)和地面航跡預(yù)測(cè)系統(tǒng)，本文著眼于提高軌跡預(yù)測(cè)的速度和精度，為機(jī)載航跡預(yù)測(cè)系統(tǒng)提供一種新的方法。

目前對(duì)飛行軌跡預(yù)測(cè)的研究主要分為兩類：一類是基于理論分析的參數(shù)方法［1-3］，利用空氣動(dòng)力學(xué)模型或者牛頓力學(xué)模型，通過(guò)對(duì)不同飛行階段建立運(yùn)動(dòng)方程，確定飛機(jī)的運(yùn)動(dòng)狀態(tài)量。但是在求解模型時(shí)，忽略了許多無(wú)法實(shí)時(shí)測(cè)量的參數(shù)，比如飛機(jī)所處位置的風(fēng)速、溫度和大氣壓力等，同時(shí)也沒有考慮管制因素，使得模型的準(zhǔn)確度降低。另一類是基于歷史數(shù)據(jù)的經(jīng)驗(yàn)方法，例如改進(jìn)的卡爾曼濾波方法［4］、基因表達(dá)式編程（GEP）［5］等方法，通過(guò)分析歷史數(shù)據(jù)，將模型中的關(guān)鍵因子提取出來(lái)，實(shí)現(xiàn)對(duì)飛行性能模型的逼近和預(yù)測(cè)。考慮到飛行軌跡預(yù)測(cè)模型的復(fù)雜性，為了準(zhǔn)確對(duì)其進(jìn)行建模，本文采用基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)建模方法。神經(jīng)網(wǎng)絡(luò)由于具有優(yōu)秀的非線性映射功能、獨(dú)有的多輸入多輸出等特點(diǎn)，已被應(yīng)用在飛行軌跡預(yù)測(cè)中［6］。但是，由于BP神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，雖然在一定程度上提高了飛行軌跡的預(yù)測(cè)精度，仍無(wú)法準(zhǔn)確快速地對(duì)飛機(jī)高階非線性系統(tǒng)建模［7-8］。

針對(duì)以上問(wèn)題，本文在NARX動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)［9］的基礎(chǔ)上，增加網(wǎng)絡(luò)承接層和自反饋連接，建立了Elman-NARX神經(jīng)網(wǎng)絡(luò)模型。這種模型能夠存儲(chǔ)更多的歷史狀態(tài)信息，提高網(wǎng)絡(luò)非線性性能和動(dòng)態(tài)性能，同時(shí)增加了輸出變量對(duì)輸入變量的依賴程度，對(duì)高階動(dòng)態(tài)系統(tǒng)建模更準(zhǔn)確。為了提高網(wǎng)絡(luò)訓(xùn)練速度和泛化能力，利用貝葉斯正則化方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，保證網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確性。最后，將其應(yīng)用到飛行軌跡預(yù)測(cè)實(shí)驗(yàn)中，結(jié)果表明了該方法的有效性，并且具有廣泛的應(yīng)用價(jià)值。

1 飛機(jī)飛行軌跡神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

在飛機(jī)飛行過(guò)程中，由于飛行員實(shí)時(shí)對(duì)飛機(jī)進(jìn)行操縱，無(wú)法進(jìn)行長(zhǎng)時(shí)間飛行軌跡準(zhǔn)確預(yù)測(cè)，本文將長(zhǎng)時(shí)間分解為多個(gè)短時(shí)間，預(yù)測(cè)飛行軌跡。飛機(jī)飛行軌跡預(yù)測(cè)模型是一個(gè)復(fù)雜的非線性動(dòng)態(tài)系統(tǒng)，受到多種因素影響，其中，飛行員的操縱量是影響飛機(jī)飛行軌跡的關(guān)鍵要素［10］，文獻(xiàn)［7］采用升降舵和方向舵偏角以及發(fā)動(dòng)機(jī)推力作為輸入對(duì)無(wú)人機(jī)軌跡進(jìn)行預(yù)測(cè)，取得較好的效果。但是，由于獲取有人機(jī)偏角數(shù)據(jù)較困難，不能采用文獻(xiàn)［7］中無(wú)人機(jī)軌跡預(yù)測(cè)模型的輸入量作為本模型的輸入量?？紤]到在飛機(jī)飛行過(guò)程中，飛行員通過(guò)對(duì)操縱系統(tǒng)的控制，包括駕駛桿、油門桿和腳蹬，保證對(duì)飛機(jī)縱向、橫向、航向以及在機(jī)動(dòng)飛行和起飛著陸時(shí)機(jī)翼増升裝置的操縱，改變飛機(jī)的運(yùn)動(dòng)狀態(tài)，本文采用飛行員的操縱量：駕駛桿前后和左右偏移量、腳蹬偏移量和油門桿偏移量作為預(yù)測(cè)飛行軌跡神經(jīng)網(wǎng)絡(luò)模型的輸入量，為了實(shí)時(shí)的對(duì)后幾個(gè)時(shí)刻的飛機(jī)位置進(jìn)行預(yù)測(cè)，將飛機(jī)的三維坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)模型輸出量，建立神經(jīng)網(wǎng)絡(luò)飛行軌跡預(yù)測(cè)模型。

2 Elman-NARX神經(jīng)網(wǎng)絡(luò)模型及學(xué)習(xí)算法

NARX自回歸神經(jīng)網(wǎng)絡(luò)是在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，增加了從輸出層到輸入層的反饋延遲以及輸入變量的延遲，使得網(wǎng)絡(luò)具有動(dòng)態(tài)和記憶功能，為了進(jìn)一步提高其對(duì)復(fù)雜非線性動(dòng)態(tài)系統(tǒng)建模的能力，可以對(duì)其結(jié)構(gòu)進(jìn)行改進(jìn)。

2.1 Elman-NARX神經(jīng)網(wǎng)絡(luò)模型建立

在NARX動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，借鑒Elman神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，增加網(wǎng)絡(luò)承接層和自反饋連接，建立了Elman-NARX神經(jīng)網(wǎng)絡(luò)模型。圖1所示為網(wǎng)絡(luò)的結(jié)構(gòu)圖。該網(wǎng)絡(luò)是對(duì)標(biāo)準(zhǔn)NARX神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，即在隱含層中增加了反饋連接到輸入層的承接層，以及在承接層上增加了一個(gè)增益為α的自反饋連接，這樣，就在輸入變量不變的情況下，達(dá)到了提高網(wǎng)絡(luò)存儲(chǔ)和記憶歷史信息的能力的效果。

在圖 1 中，Iu表示外部輸入變量，u=1，2，…，m，l表示隱含層節(jié)點(diǎn)數(shù)，x（k）表示第k次迭代承接層輸出，h（k）表示第k次迭代隱含層輸出，O（k）表示第k次迭代輸出層輸出，w1、w2、w3和 w4分別表示承接層到隱含層，反饋延遲輸出變量到隱含層，輸入變量到隱含層以及隱含層到輸出層的連接權(quán)值，f（·）表示隱含層的傳遞函數(shù)，g（·）表示輸出層的傳遞函數(shù)，假設(shè)外部輸入變量Ik的延遲長(zhǎng)度為p，輸出變量O（k）的反饋延遲長(zhǎng)度為n，則該網(wǎng)絡(luò)的數(shù)學(xué)模型為：

與NARX神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型相比，該模型的數(shù)學(xué)表達(dá)式中增加了式（1），式（1）可以繼續(xù)化簡(jiǎn)為：

2.2 Elman-NARX神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

Elman-NARX神經(jīng)網(wǎng)絡(luò)雖然保留歷史狀態(tài)信息的能力更強(qiáng)，但是NARX神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，可能會(huì)影響網(wǎng)絡(luò)的速度和泛化能力［12］。為了簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步提高模型的速度和預(yù)測(cè)精度，采用貝葉斯正則化算法來(lái)訓(xùn)練網(wǎng)絡(luò)。

2.2.1 正則化神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的泛化能力與網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜程度直接相關(guān)，如果神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)比較復(fù)雜，權(quán)值相對(duì)較大，則易發(fā)生過(guò)擬合現(xiàn)象。正則化是一種通過(guò)在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能函數(shù)中加入懲罰項(xiàng)［13］，簡(jiǎn)化網(wǎng)絡(luò)的權(quán)值連接結(jié)構(gòu)，從而進(jìn)一步提高其泛化能力的訓(xùn)練方法。神經(jīng)網(wǎng)絡(luò)一般的訓(xùn)練性能函數(shù)的均方誤差為：

式中，n表示訓(xùn)練樣本總組數(shù)，yi表示第i組訓(xùn)練樣本的預(yù)測(cè)值，ti表示第i組訓(xùn)練樣本的實(shí)際值。

貝葉斯正則化加入懲罰項(xiàng)后的訓(xùn)練性能函數(shù)為：

式中，α，β表示性能參數(shù)，N表示網(wǎng)絡(luò)結(jié)構(gòu)中的權(quán)值總數(shù)，wk表示第k個(gè)權(quán)值。性能參數(shù)β和α決定了訓(xùn)練性能函數(shù)中網(wǎng)絡(luò)的均方誤差和權(quán)值的均方值所占的比重，如果β遠(yuǎn)大于α，則訓(xùn)練強(qiáng)調(diào)網(wǎng)絡(luò)均方誤差，與原性能函數(shù)一致；如果α遠(yuǎn)大于β，則訓(xùn)練注重網(wǎng)絡(luò)權(quán)值的均方值，最終得到的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，輸出更加平滑，不會(huì)出現(xiàn)過(guò)擬合和陷入極小值等問(wèn)題。

2.2.2 貝葉斯學(xué)習(xí)方法

Mackey［14］首次提出用貝葉斯方法，通過(guò)在訓(xùn)練的過(guò)程中自適應(yīng)調(diào)節(jié)性能參數(shù)α和β的大小，得到最適合的性能參數(shù)。

將w視為隨機(jī)變量，根據(jù)貝葉斯規(guī)則［14］，在已知訓(xùn)練數(shù)據(jù)條件下，w的后驗(yàn)概率為

式中，D表示訓(xùn)練數(shù)據(jù)集，M表示Elman-NARX神經(jīng)網(wǎng)絡(luò)模型，表示標(biāo)準(zhǔn)化因子，表示w的先驗(yàn)概率密度函數(shù)，表示w給定時(shí)的概率密度函數(shù)。

根據(jù)以往的經(jīng)驗(yàn)，假設(shè)飛行訓(xùn)練數(shù)據(jù)中的噪聲和權(quán)向量服從高斯分布，則有：

由式（8）～式（10）可得：

式中，N表示網(wǎng)絡(luò)實(shí)際參數(shù)的總個(gè)數(shù)，γ表示網(wǎng)絡(luò)有效參數(shù)的個(gè)數(shù)體現(xiàn)了網(wǎng)絡(luò)的實(shí)際規(guī)模。

為了提高網(wǎng)絡(luò)的收斂速度，利用Levenberg-Marquradt算法訓(xùn)練網(wǎng)絡(luò)。LM算法是梯度下降法和牛頓法的結(jié)合，通過(guò)加入比例因子μ來(lái)調(diào)節(jié)權(quán)重，極大地加快了網(wǎng)絡(luò)的收斂速度，權(quán)值更新公式為：

其中，ηn表示學(xué)習(xí)率表示神經(jīng)網(wǎng)絡(luò)誤差函數(shù)的一階梯度。

算法步驟如下：

Step1以較小的初始值初始化性能參數(shù)α和β，以及神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值；

Step2利用Levenberg-Marquradt算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，保證目標(biāo)函數(shù)F（w）最?。?/p>

Step4根據(jù)式（12）和式（13）更新性能參數(shù) α 和β，以及神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值；

Step5判斷神經(jīng)網(wǎng)絡(luò)是否收斂或者達(dá)到最大迭代次數(shù)。如果是，則結(jié)束訓(xùn)練；如果不是，重復(fù)步驟2～5。

圖2所示為整個(gè)算法流程圖：

3 實(shí)驗(yàn)仿真分析

由于無(wú)法獲取各種飛行情況下的軌跡數(shù)據(jù)庫(kù)，采用飛機(jī)模擬器采集特定仿真環(huán)境下的飛行數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，以某型飛機(jī)模擬器的飛行軌跡作為研究對(duì)象，驗(yàn)證基于貝葉斯正則化的Elman-NARX神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)飛行軌跡的有效性。

本文同時(shí)使用BP神經(jīng)網(wǎng)絡(luò)、Elman神經(jīng)網(wǎng)絡(luò)、NARX神經(jīng)網(wǎng)絡(luò)以及基于貝葉斯正則化和LM算法的Elman-NARX神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真實(shí)驗(yàn)。

3.1 飛行仿真實(shí)驗(yàn)

仿真時(shí)以飛機(jī)初始時(shí)刻質(zhì)心位置為坐標(biāo)原點(diǎn)，以過(guò)原點(diǎn)的緯線切線指向東為軸，以過(guò)原點(diǎn)經(jīng)線切線指向北為軸，并根據(jù)右手定則確定軸，建立類地面坐標(biāo)系。

在不考慮風(fēng)擾動(dòng)的前提下，將飛機(jī)駕駛桿橫向和縱向偏移量、油門桿偏移量、腳蹬偏移量和時(shí)間作為預(yù)測(cè)模型的輸入量，將飛機(jī)三維坐標(biāo)作為輸出量。在實(shí)際預(yù)測(cè)時(shí)，利用每一次預(yù)測(cè)的實(shí)際值替代預(yù)測(cè)值，更新學(xué)習(xí)樣本，進(jìn)行下一次預(yù)測(cè)，保證飛行軌跡長(zhǎng)期預(yù)測(cè)的準(zhǔn)確性。

3.2 參數(shù)設(shè)置及性能指標(biāo)

神經(jīng)網(wǎng)絡(luò)參數(shù)：1）隱含層數(shù)：?jiǎn)螌樱?）隱含層傳遞函數(shù)：雙曲正切Sigmoid函數(shù)；3）隱含層節(jié)點(diǎn)數(shù)和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的時(shí)間延遲：隱含層節(jié)點(diǎn)數(shù)范圍取在［1，20］之間，時(shí)間延遲范圍取在［1，5］之間，采用列舉法確定最優(yōu)值；4）學(xué)習(xí)率：自適應(yīng)學(xué)習(xí)率方法，初始值設(shè)置為0.1；5）最大訓(xùn)練次數(shù)均設(shè)置為800；6）訓(xùn)練精度均設(shè)置為5*10-5。

貝葉斯正則化算法：性能參數(shù)α和β起始時(shí)均設(shè)置為0.1；

3.3 軌跡預(yù)測(cè)仿真實(shí)驗(yàn)結(jié)果

選取飛行數(shù)據(jù)中的50組數(shù)據(jù)完成訓(xùn)練和預(yù)測(cè)任務(wù)。其中，前40組數(shù)據(jù)用于訓(xùn)練網(wǎng)絡(luò)，后10組數(shù)據(jù)用于評(píng)價(jià)模型。

圖3所示為前4種神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)飛機(jī)軌跡的3個(gè)坐標(biāo)的相對(duì)誤差結(jié)果對(duì)比。由圖3可知，預(yù)測(cè)精度大小比較：Elman-NARX神經(jīng)網(wǎng)絡(luò)＞NARX神經(jīng)網(wǎng)絡(luò)＞Elman神經(jīng)網(wǎng)絡(luò)＞BP神經(jīng)網(wǎng)絡(luò)。由此可知，動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果優(yōu)于靜態(tài)BP神經(jīng)網(wǎng)絡(luò)，Elman-的預(yù)測(cè)精度最高，3個(gè)坐標(biāo)預(yù)測(cè)的相對(duì)誤差均小于1*e-3，達(dá)到了期望目標(biāo)，要比其他兩種動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果更好，達(dá)到了預(yù)期目的。飛機(jī)軌跡預(yù)測(cè)如下頁(yè)圖4所示。

圖5為基于貝葉斯正則化的Elman-神經(jīng)網(wǎng)絡(luò)訓(xùn)練進(jìn)化曲線，由圖5可知，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)收斂速度較快，訓(xùn)練6次基本達(dá)到誤差要求，訓(xùn)練時(shí)間為0.941 s，基本滿足機(jī)載軌跡預(yù)測(cè)系統(tǒng)要求。

為了全面直觀地評(píng)價(jià)基于LM算法和貝葉斯算法的預(yù)測(cè)結(jié)果，分別將均方根誤差（Root Mean Square Error，RMSE）和相關(guān)系數(shù)R作為性能指標(biāo)。均方根誤差越小，相關(guān)系數(shù)越大，說(shuō)明模型的預(yù)測(cè)精度越高，性能越好。

表1為基于貝葉斯正則化和LM算法的Elman-NARX神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行比較，其中BR表示貝葉斯算法。由表1可知：貝葉斯正則化算法優(yōu)于LM算法，預(yù)測(cè)結(jié)果的精度和相關(guān)性均優(yōu)于LM算法。

綜上所述，本文提出的基于貝葉斯正則化的Elman-NARX神經(jīng)網(wǎng)絡(luò)模型可以較好地對(duì)飛機(jī)動(dòng)態(tài)系統(tǒng)建模，以較高的精度和速度預(yù)測(cè)飛行軌跡，具有實(shí)際應(yīng)用價(jià)值。

4 結(jié)論

飛機(jī)系統(tǒng)是一個(gè)高階非線性動(dòng)態(tài)系統(tǒng)，本文提出的基于貝葉斯正則化的Elman-NARX神經(jīng)網(wǎng)絡(luò)模型，提升了高階動(dòng)態(tài)系統(tǒng)的預(yù)測(cè)精度和速度，優(yōu)于一般的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)。對(duì)飛行軌跡預(yù)測(cè)時(shí)，預(yù)測(cè)的精度和速度都較高，具有實(shí)際應(yīng)用價(jià)值。此外，本文提出的這種模型具有普適性，適用于所有的高階非線性動(dòng)態(tài)系統(tǒng)，可以被廣泛應(yīng)用在電價(jià)預(yù)測(cè)、高爐鐵水含硅量預(yù)測(cè)、高速鐵路沉降預(yù)測(cè)等方面，應(yīng)用前景較好。

參考文獻(xiàn)：

［1］THIPPHAVONG D P，SCHULTZ C A，LEE A G，et al.Adaptive algorithm to improve trajectory prediction accuracy of climbing aircraft［J］.Journal of Guidance，Control，and Dynamics，2013，36（1）：15-24.

［2］AMIT A G.Adaptive improvement of climb performance［D］.Cincinnati：University of Cincinnati，2003.

［3］PREVOST C G，DESBIENS A，GAGNON E.Extended kalman filter for state estimation and trajectory prediction of a moving objected detected by an unmanned aerial vehicle［C］//Proceedings of the 2007 American Control Conference.Piscataway：IEEE Press，2007.

［4］王濤波，黃寶軍.基于改進(jìn)卡爾曼濾波的四維飛行航跡預(yù)測(cè)模型［J］.計(jì)算機(jī)應(yīng)用，2014，34（6）：1812-1815.

［5］杜冬，麥海波.基于GEP的四維飛行軌跡預(yù)測(cè)模型［J］.四川大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，50（4）：749-752.

［6］譚偉，陸百川，黃美靈.神經(jīng)網(wǎng)絡(luò)結(jié)合遺傳算法用于航跡預(yù)測(cè)［J］.重慶交通大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，38（1）：147-150.

［7］王儉臣，齊曉慧.基于EPSO-BP的Elman網(wǎng)絡(luò)及其在飛行軌跡預(yù)測(cè)中的應(yīng)用［J］. 控制與決策，2013，28（12）：1884-1888.

［8］吳建鋒，何小榮，陳丙珍.動(dòng)態(tài)過(guò)程神經(jīng)網(wǎng)絡(luò)模型的研究（一）［J］.系統(tǒng)工程理論與實(shí)踐，2001，12（12）：47-53.

［9］CAI L，MA S Y，CAI H T，et al.Prediction of SYM-H index by NARX neural network from IMF and solar wind data［J］.Sci China Ser E-Tech Sci，2009，52（10）：2877-2885.

［10］陳廷楠.飛機(jī)飛行性能品質(zhì)與控制［M］.北京：國(guó)防工業(yè)出版社，2007.

［11］MARTIN T H，MOHAMMAD B M.Training feedback network with the marquardt algorithm［J］.IEEE Transaction on Neural Networks，1994，5（6）：989-993.

［12］李偉，何鵬舉，楊恒，等.基于粗糙集和改進(jìn)遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的算法研究［J］.西北工業(yè)大學(xué)學(xué)報(bào)，2012，30（10）：601-606.

［13］ZHANG L，LUH P B，KASIVISWANATHAN K.Energy clearing price prediction and confidence interval estimation with cascaded neural networks［J］.IEEE Transactions on Power Systems，2003，18（1）：99-105.

［14］MACKAY D J C.Bayesian interpolation［J］.Neural Computation A，1992，4（3）：415-447.