基于BP神經(jīng)網(wǎng)絡(luò)的霍普菲爾德模型改進(jìn)研究

朱明晨,趙　平,陳偉榮

(1.銅陵學(xué)院 建筑工程學(xué)院，安徽 銅陵 244061；2.東南大學(xué) 交通學(xué)院，江蘇 南京 210096)

?

基于BP神經(jīng)網(wǎng)絡(luò)的霍普菲爾德模型改進(jìn)研究

朱明晨1,趙平1,陳偉榮2

(1.銅陵學(xué)院 建筑工程學(xué)院，安徽 銅陵 244061；2.東南大學(xué) 交通學(xué)院，江蘇 南京 210096)

摘要：為了分析對(duì)流層延遲的時(shí)空變化規(guī)律、提高對(duì)流層延遲的改正精度,利用BP神經(jīng)網(wǎng)絡(luò)處理非線性問題的優(yōu)勢(shì)，改進(jìn)傳統(tǒng)的霍普菲爾德模型得到一種新的融合模型(Hop+BP模型)。分別對(duì)比Hop+BP模型與傳統(tǒng)的霍普菲爾德模型、多元線性回歸模型、BP神經(jīng)網(wǎng)絡(luò)等模型的計(jì)算結(jié)果，得到如下結(jié)論：霍普菲爾德模型存在一個(gè)明顯的系統(tǒng)誤差，精度較低；多元線性回歸的預(yù)測(cè)精度有所提高，但是其本質(zhì)是將數(shù)據(jù)強(qiáng)制擬合，缺少物理解釋，難以推廣使用；傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)的計(jì)算精度較之霍普菲爾德模型有80%的提高，但存在明顯的不穩(wěn)定性；Hop+BP模型具有預(yù)測(cè)精度高、穩(wěn)定性好等優(yōu)點(diǎn)，預(yù)測(cè)中誤差為1.1 cm，明顯優(yōu)于傳統(tǒng)方法。

關(guān)鍵詞：霍普菲爾德模型；BP神經(jīng)網(wǎng)絡(luò)；多元線性回歸；精度分析

隨著各國(guó)衛(wèi)星大地測(cè)量技術(shù)的快速發(fā)展，GNSS導(dǎo)航定位系統(tǒng)應(yīng)用的廣度和深度都在不斷擴(kuò)展和加深，與此同時(shí)對(duì)該系統(tǒng)的精度要求也在不斷提高，精確計(jì)算對(duì)流層延遲不僅可以大幅度提高GNSS導(dǎo)航和定位的精度，還可以轉(zhuǎn)換求得大氣中的水汽含量進(jìn)而反演大氣可降水量，同時(shí)還可以校正InSAR圖像以提高遙感圖像的質(zhì)量。目前計(jì)算對(duì)流層延遲的經(jīng)驗(yàn)?zāi)Ｐ椭饕校夯羝辗茽柕履Ｐ汀⑺_斯塔莫寧模型、勃蘭克模型以及基于數(shù)值天氣預(yù)報(bào)模型的EGNOS、UNB3模型等[1]。由于對(duì)流層所處的海拔較低，且變化復(fù)雜，屬于非彌散性介質(zhì)，導(dǎo)致對(duì)流層延遲是一個(gè)非線性的物理量，難以用一個(gè)固定的函數(shù)模型描述特定時(shí)間、特定地點(diǎn)、特定環(huán)境下對(duì)流層大氣誤差的真實(shí)情況。BP神經(jīng)網(wǎng)絡(luò)屬于自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，具有學(xué)習(xí)、記憶、計(jì)算和各種智能處理的功能，已經(jīng)成為解決許多非線性問題的一種必要的技術(shù)手段[2]。本文嘗試將BP神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的經(jīng)驗(yàn)?zāi)Ｐ腿诤希梦覈?guó)部分城市的氣象數(shù)據(jù)，對(duì)比分析霍普菲爾德模型、多元線性回歸模型、BP神經(jīng)網(wǎng)絡(luò)以及Hop+BP模型這4個(gè)模型的計(jì)算精度，得出有益的結(jié)論。

1霍普菲爾德模型的基本原理

(1)

式(1)前半部分為干延遲，后半部分為濕延遲。式中:Ps與es分別為測(cè)站的氣壓與水汽壓，單位為mbar；Ts為測(cè)站的絕對(duì)溫度；hs為測(cè)站的海拔高度；hw取11 000 m；有文獻(xiàn)將hd稱作是對(duì)流層頂，可以用式(2)來(lái)計(jì)算。

hd=40 136+148.72(T-273.16).

(2)

霍普菲爾德模型形式簡(jiǎn)單，僅需要測(cè)站的地面氣溫、氣壓、水汽壓及海拔高度就能很好地估計(jì)測(cè)站的對(duì)流層天頂干延遲，但由于水汽分壓變化復(fù)雜，其濕延遲的估計(jì)精度并不理想。

2BP神經(jīng)網(wǎng)絡(luò)的基本原理

神經(jīng)網(wǎng)絡(luò)是由簡(jiǎn)單處理單元構(gòu)成的大規(guī)模并行分布式的處理器，通過模仿人腦處理信息的物理過程，具有儲(chǔ)存經(jīng)驗(yàn)知識(shí)進(jìn)而分析計(jì)算的特性，并因此具有很強(qiáng)的泛化能力。所以在處理非線性復(fù)雜問題時(shí)，神經(jīng)網(wǎng)絡(luò)有其獨(dú)特的優(yōu)勢(shì)。

BP神經(jīng)網(wǎng)絡(luò)是眾多神經(jīng)網(wǎng)絡(luò)模型中最為常見的一個(gè)，常用的單隱含層BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1　BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖

圖1中，第①層為輸入層轉(zhuǎn)換層，第②層為輸入層，第③層為隱含層，第④層為輸出層，第⑤層為輸出層轉(zhuǎn)換層。BP神經(jīng)網(wǎng)絡(luò)模型分為學(xué)習(xí)和預(yù)測(cè)兩個(gè)過程。學(xué)習(xí)過程(監(jiān)督學(xué)習(xí))即是利用學(xué)習(xí)樣本對(duì)神經(jīng)網(wǎng)絡(luò)的突觸權(quán)值進(jìn)行修改的訓(xùn)練過程。每個(gè)學(xué)習(xí)樣本由唯一的輸入信號(hào)和相應(yīng)的期望響應(yīng)

組成。從樣本集中選取一個(gè)樣例提供給網(wǎng)絡(luò)，網(wǎng)絡(luò)就相應(yīng)地調(diào)整它的突觸權(quán)值，使期望響應(yīng)和由輸入信號(hào)以適當(dāng)?shù)慕y(tǒng)計(jì)準(zhǔn)則產(chǎn)生的網(wǎng)絡(luò)實(shí)際響應(yīng)之間的差別最小化[2]。當(dāng)所有學(xué)習(xí)樣本的期望響應(yīng)及其網(wǎng)絡(luò)實(shí)際響應(yīng)之間的差別都在允許誤差之內(nèi)，且網(wǎng)絡(luò)對(duì)突觸權(quán)值沒有明顯的修正達(dá)到穩(wěn)定狀態(tài)時(shí)，學(xué)習(xí)過程結(jié)束。此時(shí)保存網(wǎng)絡(luò)的突觸權(quán)值，即可進(jìn)行計(jì)算。

3BP神經(jīng)網(wǎng)絡(luò)模型的建立

3.1網(wǎng)型結(jié)構(gòu)的確定

除第①和第⑤層外，確定神經(jīng)網(wǎng)絡(luò)的網(wǎng)型結(jié)構(gòu)主要是確定輸入層節(jié)點(diǎn)的個(gè)數(shù)、隱含層節(jié)點(diǎn)的個(gè)數(shù)以及輸出層節(jié)點(diǎn)的個(gè)數(shù)。輸出層節(jié)點(diǎn)數(shù)的確定比較簡(jiǎn)單，一般工程應(yīng)用中都取1，若有多個(gè)輸出，可以通過構(gòu)造多個(gè)單輸出網(wǎng)絡(luò)分別研究。本文構(gòu)造用于計(jì)算對(duì)流層延遲的神經(jīng)網(wǎng)絡(luò)，輸出層為對(duì)流層延遲δ。

輸入層一般取決于影響樣本值的參數(shù)，可以通過主成分分析確定。考慮到數(shù)據(jù)源的形式以及霍普菲爾德模型的推導(dǎo)過程，本文選取的輸入層為：測(cè)站的海拔高度hs,氣壓Ps,絕對(duì)溫度Ts以及露點(diǎn)溫度td。

隱含層節(jié)點(diǎn)數(shù)的確定比較復(fù)雜，沒有現(xiàn)成的公式可以使用。一般來(lái)說，節(jié)點(diǎn)數(shù)太多，訓(xùn)練效率不高，可能導(dǎo)致學(xué)習(xí)時(shí)間過長(zhǎng)與計(jì)算結(jié)果不穩(wěn)定；若節(jié)點(diǎn)數(shù)過少，很可能導(dǎo)致網(wǎng)絡(luò)不收斂。本文采用之前工程應(yīng)用的經(jīng)驗(yàn)，通過試算隱含層節(jié)點(diǎn)數(shù)10～30的各個(gè)網(wǎng)型，得到最優(yōu)的隱含層節(jié)點(diǎn)數(shù)為15。

至此神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)已經(jīng)確定完畢，其網(wǎng)型結(jié)構(gòu)為4×15×1。

3.2網(wǎng)絡(luò)參數(shù)的設(shè)置

BP神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)包括：學(xué)習(xí)速率ε，平滑因子α，學(xué)習(xí)誤差E，初始權(quán)值ω。

平滑因子的引入使得學(xué)習(xí)速率不再是一個(gè)恒定的常數(shù)，而是隨著迭代誤差的改變而調(diào)節(jié)，因此，需將平滑因子與學(xué)習(xí)速率綜合考慮。通過試算，ε的取值為1.5，α的取值為0.7。

學(xué)習(xí)誤差的大小會(huì)對(duì)檢驗(yàn)中誤差造成直接的影響，一般學(xué)習(xí)誤差越小，檢驗(yàn)中誤差也越小；但是學(xué)習(xí)誤差過小，會(huì)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)速率很慢，甚至不收斂，有時(shí)會(huì)出現(xiàn)過擬合現(xiàn)象使檢驗(yàn)中誤差回彈[6]。因此，通過試算建議學(xué)習(xí)中誤差設(shè)置為0.01。

初始權(quán)值的設(shè)置對(duì)最終結(jié)果的影響十分之大，通常由在固定范圍中生成均勻的隨機(jī)數(shù)得到，但是這種方法可能使網(wǎng)絡(luò)計(jì)算過早的進(jìn)入飽和區(qū)。因此，本文利用遺傳算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的初始權(quán)值[7]，其具體思想為：對(duì)神經(jīng)網(wǎng)絡(luò)的連接權(quán)重進(jìn)行編碼，形成初始種群，然后以適應(yīng)度函數(shù)指導(dǎo)隨機(jī)搜索的方向，借助復(fù)制、交叉、變異等操作，不斷迭代計(jì)算，最終產(chǎn)生全局最優(yōu)解，再經(jīng)解碼得到優(yōu)化的網(wǎng)絡(luò)連接的初始權(quán)重。

至此用于預(yù)測(cè)對(duì)流層延遲的BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)建完畢。

4融合模型的基本思想

融合模型的實(shí)質(zhì)就是利用BP神經(jīng)網(wǎng)絡(luò)算法對(duì)霍普菲爾德模型進(jìn)行誤差補(bǔ)償，即通過BP神經(jīng)網(wǎng)絡(luò)模擬出霍普菲爾德模型的誤差，將BP神經(jīng)網(wǎng)絡(luò)與霍普菲爾德模型融合所得到的模型簡(jiǎn)稱為Hop+BP模型；為了驗(yàn)證霍普菲爾德模型誤差的規(guī)律性，同時(shí)用BP神經(jīng)網(wǎng)絡(luò)對(duì)多元線性回歸進(jìn)行誤差補(bǔ)償，所得到的模型簡(jiǎn)稱為Mlr+BP模型。兩融合模型具體的網(wǎng)型結(jié)構(gòu)如下：

輸入層為：測(cè)站的海拔高度hs,氣壓Ps,絕對(duì)溫度Ts,露點(diǎn)溫度td以及霍普菲爾德模型或多元線性回歸所求得的對(duì)流層延遲δ′；隱含層節(jié)點(diǎn)數(shù)為15；輸出層為霍普菲爾德模型或多元線性回歸模型計(jì)算結(jié)果所對(duì)應(yīng)的殘差Δδ′。至此融合模型的神經(jīng)網(wǎng)絡(luò)模型建立完畢，其網(wǎng)型結(jié)構(gòu)為5×15×1。融合模型的網(wǎng)絡(luò)參數(shù)設(shè)置同BP神經(jīng)網(wǎng)絡(luò)模型，在此不再贅述。

需要注意的是，Hop+BP模型所得出的結(jié)果是霍普菲爾德模型誤差，進(jìn)行改正時(shí)，最終的計(jì)算結(jié)果是將Hop+BP模型所得的誤差值與其對(duì)應(yīng)的霍普菲爾德模型計(jì)算值之和。

5工程實(shí)例及分析

為了驗(yàn)證融合模型的預(yù)測(cè)精度，本文選取100個(gè)樣本的高空氣象數(shù)據(jù)，由文獻(xiàn)[8]提供的方法確定測(cè)站對(duì)流層天頂延遲的理論精確值。其中20個(gè)作為學(xué)習(xí)樣本用于建模及神經(jīng)網(wǎng)絡(luò)的突觸權(quán)值訓(xùn)練，剩余的80個(gè)樣本作為檢驗(yàn)樣本分別對(duì)比多元線性回歸、霍普菲爾德模型、BP神經(jīng)網(wǎng)絡(luò)以及Hop+BP模型與Mlr+BP模型的預(yù)測(cè)精度。限于篇幅表1給出了南京站3月17號(hào)的部分?jǐn)?shù)據(jù)。

表1　南京站3月17日氣象探空數(shù)據(jù)

5.1多元線性回歸的算例分析

由于測(cè)站的對(duì)流層天頂延遲綜合受到海拔高度hs、氣壓Ps、絕對(duì)溫度Ts、露點(diǎn)溫度td等多方面因素的影響，本文采用一種線性的關(guān)系來(lái)解釋這些自變量與因變量之間的關(guān)系，因此,建立多元線性回歸模型如式(3)所示。

(3)

式中a0,a1,…,a4等參數(shù)可以通過有多余觀測(cè)的觀測(cè)值由最小二乘法解算，然后利用回歸模型以及地面的氣象參數(shù)預(yù)測(cè)對(duì)流層延遲。

由回歸分析得出模型的學(xué)習(xí)中誤差為3.1cm;檢驗(yàn)中誤差為2.8cm；a0,a1,…,a4的值如表2所示。

表2　多元線性回歸參數(shù)值

畫出全部100個(gè)樣本的殘差圖如圖2所示。圖中橫軸均為樣本號(hào)，縱軸均為模型殘差，其中最左端的20個(gè)樣本為學(xué)習(xí)樣本。

5.2霍普菲爾德模型的算例分析

霍普菲爾德模型為經(jīng)驗(yàn)?zāi)Ｐ?，直接得出其預(yù)測(cè)中誤差為22.7cm，畫出全部100個(gè)樣本的殘差圖如圖3所示。

5.3BP神經(jīng)網(wǎng)絡(luò)的算例分析

為和多元線性回歸模型比較，BP神經(jīng)網(wǎng)絡(luò)模型選取與之相同的20個(gè)學(xué)習(xí)樣本，剩余的80個(gè)作為檢驗(yàn)樣本，求得學(xué)習(xí)中誤差為2.2cm，檢驗(yàn)中誤差為2.4cm；畫出全部100個(gè)樣本殘差圖，如圖4所示。

圖2　多元線性回歸殘差

圖3　霍普菲爾德模型殘差

圖4　BP神經(jīng)網(wǎng)絡(luò)模型殘差

5.4Hop+BP模型與Mlr+BP模型算例分析

Mlr+BP模型選取與BP神經(jīng)網(wǎng)絡(luò)模型和多元線性回歸模型相同的學(xué)習(xí)樣本和檢驗(yàn)樣本，求得學(xué)習(xí)中誤差為3.1cm，檢驗(yàn)中誤差為2.6cm。畫出全部100個(gè)樣本的殘差圖，如圖5所示。

為了便于比較，Hop+BP模型選取與Mlr+BP模型相同的學(xué)習(xí)樣本和檢驗(yàn)樣本，進(jìn)行神經(jīng)網(wǎng)絡(luò)擬合之后，得到學(xué)習(xí)中誤差為0.93cm，檢驗(yàn)中誤差為1.1cm。畫出全部100個(gè)樣本的殘差圖，如圖6所示。

5.55種模型計(jì)算結(jié)果對(duì)比分析

統(tǒng)計(jì)5種模型的檢驗(yàn)中誤差如表3所示。

圖5　Mlr+BP模型殘差

圖6　Hop+BP模型殘差

cm

由圖2和表3可以看出，多元線性回歸和Mlr+BP模型的預(yù)測(cè)精度明顯高于霍普菲爾德模型，但是由于缺少合理的物理解釋，BP神經(jīng)網(wǎng)絡(luò)無(wú)法模擬出多元線性回歸模型的誤差規(guī)律，所以Mlr+BP模型的精度較之多元線性回歸模型提高有限。同時(shí)由圖3、圖4、圖6和表3可以看出，BP神經(jīng)網(wǎng)絡(luò)模型的精度亦明顯高于霍普菲爾德模型，但是其模型誤差并無(wú)明顯規(guī)律，且預(yù)測(cè)結(jié)果不穩(wěn)定，訓(xùn)練網(wǎng)絡(luò)所需時(shí)間較長(zhǎng)，難以滿足改正模型實(shí)時(shí)性的要求?；羝辗茽柕履Ｐ妥鳛槿蚴褂玫钠者m模型，用于特定的地區(qū)誤差比較大，這是因?yàn)榛羝辗茽柕履Ｐ图僭O(shè)模型中的各個(gè)參數(shù)隨海拔高度的遞增服從一定的分布規(guī)律，同時(shí)假設(shè)大氣適用理想氣體方程，而這種假設(shè)和簡(jiǎn)化相對(duì)于區(qū)域大氣的復(fù)雜情況有一定的差異，但是這種差異所導(dǎo)致的誤差具有一定的系統(tǒng)性，所以Hop+BP模型利用BP神經(jīng)網(wǎng)絡(luò)來(lái)模擬霍普菲爾德模型的誤差，其精度有著很大的提高，且穩(wěn)定性良好，神經(jīng)網(wǎng)絡(luò)收斂速度快，可以基本滿足對(duì)流程延遲實(shí)時(shí)高精度改正的需求。表4給出了5種模型計(jì)算對(duì)流程延遲誤差的最大值和最小值。

表4　5種模型計(jì)算誤差對(duì)比　cm

6結(jié)束語(yǔ)

由于對(duì)流層所處海拔較低，變化復(fù)雜，難以用一個(gè)特定的傳統(tǒng)模型加以精確描述，本文在分析BP神經(jīng)網(wǎng)絡(luò)的原理的基礎(chǔ)上，建立了用于改正對(duì)流層延遲的神經(jīng)網(wǎng)絡(luò)模型；并將之與傳統(tǒng)的經(jīng)驗(yàn)?zāi)Ｐ拖嗳诤希〉昧溯^高的預(yù)測(cè)精度和穩(wěn)定的改正結(jié)果。同時(shí)分析幾個(gè)模型計(jì)算結(jié)果中幾個(gè)偏差較大的樣本，都有探空數(shù)據(jù)首層等壓面高程數(shù)據(jù)缺失的情況，是以第二層等壓面的數(shù)據(jù)代入模型進(jìn)行計(jì)算的，因此出現(xiàn)較大誤差。由此可以看出，高程精度對(duì)對(duì)流層延遲的影響較大。

雖然Hop+BP模型較之傳統(tǒng)模型精度有較大的提高，但是其對(duì)于氣象及高程數(shù)據(jù)的精度有著很高的依賴，且模型的泛化能力也有待進(jìn)一步的驗(yàn)證，同時(shí)霍普菲爾德模型應(yīng)用于中國(guó)時(shí)，其誤差的具體規(guī)律也有待進(jìn)一步研究。

參考文獻(xiàn)：

[1]高成發(fā)，胡伍生.衛(wèi)星導(dǎo)航定位原理與應(yīng)用[M].北京：人民交通出版社，2011：232-235.

[2]HAYKIN S.Neural Networks and Learning Machines[M].北京：機(jī)械工業(yè)出版社，2014：2-14.

[3]HOPFIELD H S.Two-quartic Tropospheric Refractivity Profile for Correcting Satellite Data[J].J.Geophys.Res.1969(74).4487-4499.

[4]歐吉坤.GPS測(cè)量的中性大氣折射改正的研究[J].測(cè)繪學(xué)報(bào)，1998，27(1)：31-36.

[5]張力仁，徐愛功.GPS定位中的對(duì)流層模型分析[J].測(cè)繪工程，2009，18(6):33-36.

[6]胡伍生，神經(jīng)網(wǎng)絡(luò)原理及其工程應(yīng)用[M].北京：測(cè)繪出版社，2006：68-71.

[7]張帆，胡伍生.神經(jīng)網(wǎng)絡(luò)融合模型在大壩安全監(jiān)控中的應(yīng)用[J].測(cè)繪工程，2015，24(1)：53-56.

[責(zé)任編輯：劉文霞]

Improved research for Hopflied model based on BP neural network

ZHU Mingchen1,ZHAO Ping1,CHEN Weirong2

(1.Department of Civil Engineering and Architecture,Tongling University,Tongling 244061,China;2.School of Surveying Engineering Southeast University,Nanjing 210096,China)

Abstract：In order to analyze the law of temporal and spatial variation of troposphere wet delay and promote the amendatory precision of troposphere delay,this paper improves the traditional Hopfield troposphere model to form a new fusion model(Hop+BP model) by the advantage of Back Propagation neural network for solving nonlinear problems.Through comparing the fusion model with traditional Hopfield troposphere model,multiple linear regression model,and Back Propagation neural network model respectively,this paper draws the following conclusion：Hopflied troposphere model has a clear systematic error with a lower precision；multiple linear regression model has a higher precision,but with the nature of mandatory fitting,which lack of physical interpretation thus being difficult for popularization and application；the computational precision of Back Propagation neural network model is 80%,which is higher than Hopfield troposphere model,but has obvious instability；the fusion model embraces the advantages of high precision and stability,and with a deviation of 1.1 centimeter,which is evidently better than traditional methods.

Key words：Hopflied model;BP neural network;multiple linear regression;precision analysis

DOI:10.19349/j.cnki.issn1006-7949.2016.09.006

收稿日期：2015-05-11;修回日期：2015-06-12

作者簡(jiǎn)介：朱明晨(1988-)，男，助教.

中圖分類號(hào)：P228

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-7949(2016)09-0026-05