基于改進(jìn)小波神經(jīng)網(wǎng)絡(luò)的GPS高程擬合研究

錢建國 樊意廣

1 遼寧工程技術(shù)大學(xué)測繪與地理科學(xué)學(xué)院，遼寧省阜新市玉龍路88號，123000

將GPS測得的大地高轉(zhuǎn)換為我國工程實(shí)踐中所需正常高的關(guān)鍵在于求取兩者之間的差值，即高程異常值[1]。由于難以獲得精確的重力數(shù)據(jù)，目前多采用擬合的方法來求取高程異常值，常用的擬合方法有數(shù)學(xué)模型法和神經(jīng)網(wǎng)絡(luò)法等[2]。其中，數(shù)學(xué)模型擬合法主要有平面擬合模型和曲面擬合模型2種。平面擬合模型的應(yīng)用具有一定的局限性，主要適用于小范圍的平坦地區(qū)；而曲面擬合模型則適用于覆蓋面積較大、似大地水準(zhǔn)面變化規(guī)律明顯的區(qū)域。但這兩種模型均存在一定的模型誤差，且擬合的精度受地形因素的影響較大[3-4]。神經(jīng)網(wǎng)絡(luò)作為一種新興的智能算法，能夠極大地降低模型誤差，現(xiàn)已在GPS高程異常擬合中得到廣泛應(yīng)用。普通的神經(jīng)網(wǎng)絡(luò)模型如BP神經(jīng)網(wǎng)絡(luò)等存在結(jié)構(gòu)設(shè)計盲目性大、收斂速度慢等缺點(diǎn)[5]。小波神經(jīng)網(wǎng)絡(luò)(wavelet neural network, WNN)將小波理論和神經(jīng)網(wǎng)絡(luò)理論進(jìn)行有機(jī)結(jié)合，不僅能避免網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的盲目性，還能有效提高神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，在國內(nèi)外學(xué)者中引起廣泛關(guān)注[6-7]。但WNN也存在易陷入局部極小值和收斂速度慢等問題。為避免上述問題，本文提出一種改進(jìn)的粒子群優(yōu)化算法(improved particle swarm optimization, IPSO)對WNN模型進(jìn)行優(yōu)化。該算法采用非線性改變慣性權(quán)重和自適應(yīng)學(xué)習(xí)因子相結(jié)合的方法對標(biāo)準(zhǔn)的粒子群優(yōu)化算法(particle swarm optimization, PSO)進(jìn)行改進(jìn)，以避免PSO算法陷入局部極小值和發(fā)生振蕩現(xiàn)象。同時以某礦區(qū)的實(shí)測GPS數(shù)據(jù)為例，對改進(jìn)后WNN模型的實(shí)用性及有效性進(jìn)行檢驗(yàn)。

1 小波神經(jīng)網(wǎng)絡(luò)模型

WNN是一種以小波基函數(shù)為隱含層節(jié)點(diǎn)、激勵函數(shù)誤差反向傳播的神經(jīng)網(wǎng)絡(luò)[8]，其結(jié)構(gòu)如圖1所示。圖中X為WNN的輸入樣本，Y為WNN的預(yù)測輸出，ωij和ωjk分別為連接輸入層與隱含層、隱含層與輸出層的權(quán)值，ψ(x)為小波基函數(shù)。本文所采用的小波基函數(shù)為Morlet小波函數(shù)，其表達(dá)式為：

ψ(x)=cos(1.75x)e-x2/2

(1)

輸入序列xi(i=1, 2, 3,…,n)經(jīng)過小波基函數(shù)處理后，可得到其在隱含層的輸出值，即

(2)

式中，u為隱含層節(jié)點(diǎn)的輸出值，a和b分別為小波基函數(shù)的伸縮因子和平移因子，n為輸入層節(jié)點(diǎn)數(shù)，l為隱含層神經(jīng)元個數(shù)。

輸入信號經(jīng)過隱含層處理后繼續(xù)向前傳播至輸出層，由此得到WNN的輸出，即

(3)

式中，yk為網(wǎng)絡(luò)的實(shí)際輸出，m為輸出層節(jié)點(diǎn)數(shù)。

WNN的誤差函數(shù)一般采用實(shí)際輸出值與期望輸出值的均方誤差表示，即

(4)

2 改進(jìn)的粒子群算法

2.1 標(biāo)準(zhǔn)粒子群算法

PSO算法是一種群體智能算法，在該算法中，每個粒子的特征均可用速度、位置和適應(yīng)度值來表示[9]。在一個D維空間內(nèi)，每個粒子均以一定的速度飛行，根據(jù)自身所積累的信息和群體中個體間信息的共享對速度進(jìn)行更新，從而動態(tài)調(diào)整粒子在搜索空間中的位置。搜索過程持續(xù)進(jìn)行，直到每個粒子均找到最佳位置或者達(dá)到迭代最大次數(shù)。

粒子群的速度和位置更新可表示為：

vi+1(t+1)=wvi(t)+c1r1(pi-xi)+

c2r2(gi-xi)

(5)

xi(t+1)=xi(t)+vi(t+1)

(6)

式中，v為粒子速度；x為粒子位置；w為慣性權(quán)重，決定著粒子當(dāng)前速度對下一位置速度的影響程度；c1和c2為學(xué)習(xí)因子；r1和r2為[0, 1]之間的隨機(jī)數(shù)；p和g分別為粒子的個體極值和全局極值。

本文采用式(4)，即小波神經(jīng)網(wǎng)絡(luò)的均方誤差函數(shù)作為IPSO算法的適應(yīng)度值函數(shù)。高程異常的擬合值與實(shí)際值越接近，網(wǎng)絡(luò)的訓(xùn)練誤差(粒子的適應(yīng)度值)越小，粒子的適應(yīng)度越高，當(dāng)訓(xùn)練誤差達(dá)到預(yù)期目標(biāo)時，可認(rèn)為當(dāng)前粒子處于最優(yōu)位置[10]。

2.2 改進(jìn)的粒子群算法

標(biāo)準(zhǔn)的PSO算法存在易陷入局部極小值、收斂速度慢等問題，且算法的收斂性能受慣性權(quán)重w的影響很大。當(dāng)w值較大時，粒子的全局搜索能力較強(qiáng)，但容易跳過全局最優(yōu)解，陷入局部極小值；當(dāng)w值較小時，粒子的局部尋優(yōu)能力較強(qiáng)，但搜索速度較慢。為了使PSO算法的全局搜索能力與局部搜索能力達(dá)到平衡，Shi等[11]提出一種慣性權(quán)重線性遞減的粒子群優(yōu)化策略(line particle swarm optimization, LPSO)，即

(7)

式中，wmax和wmin分別為慣性權(quán)重的最大值和最小值，Imax為預(yù)設(shè)的最大迭代次數(shù)。

式(7)中，w僅與迭代次數(shù)i線性相關(guān)，但忽略了粒子群的進(jìn)化速度和粒子的聚集程度，因此并不能滿足PSO算法中復(fù)雜的非線性變換特性[12]。在此基礎(chǔ)上，本文提出一種慣性權(quán)重的非線性遞減策略，即

(8)

式中，f為粒子當(dāng)前的適應(yīng)度值，favg為當(dāng)前所有粒子的平均適應(yīng)度值。

該方法的主要思想是根據(jù)當(dāng)前粒子的適應(yīng)度值與粒子群的平均適應(yīng)度值的關(guān)系，對粒子的慣性權(quán)重進(jìn)行動態(tài)調(diào)整。當(dāng)粒子的適應(yīng)度值大于或等于平均適應(yīng)度值時，采用最大的慣性權(quán)重，以增大粒子群的搜索空間，加快算法的收斂速度；反之，則使慣性權(quán)重逐漸減小，以增強(qiáng)粒子尋找全局最優(yōu)解的能力[13]。

學(xué)習(xí)因子c1和c2分別控制著粒子的自我尋優(yōu)能力和粒子間的信息交互能力，在算法的迭代初期，c1值較大，c2值較小，有利于粒子快速找到大致的最優(yōu)位置[14]。隨著迭代過程的不斷進(jìn)行，粒子群中各粒子間的信息交互對尋找全局最優(yōu)解的重要性不斷增強(qiáng)，因此需要較小的c1值和較大的c2值，以增強(qiáng)粒子的局部尋優(yōu)能力。而在標(biāo)準(zhǔn)的PSO算法中，c1和c2均為定值且相等，不利于算法的快速收斂和尋找全局最優(yōu)解。本文在上述慣性權(quán)重非線性遞減策略的基礎(chǔ)上，對c1和c2進(jìn)行如下優(yōu)化：

(9)

c2(t)=2-c1(t)

(10)

式中，N為粒子群中粒子總數(shù)，c1(t)和c2(t)分別為第t次迭代時c1和c2的取值，gt為當(dāng)前粒子群的全局最優(yōu)解，pi為第i個粒子的個體最優(yōu)解。

從式(9)和式(10)可以看出，隨著迭代的進(jìn)行，c1值非線性遞減，c2值非線性遞增，這有利于算法的快速收斂，從而增強(qiáng)算法尋找全局最優(yōu)解的能力。

3 IPSO算法優(yōu)化WNN參數(shù)

為避免WNN算法出現(xiàn)振蕩和陷入局部極小值等問題，本文采用上述改進(jìn)后的PSO算法對WNN參數(shù)進(jìn)行優(yōu)化，基本步驟如下：

1)確定WNN結(jié)構(gòu)，本文中WNN結(jié)構(gòu)是根據(jù)GPS高程異常擬合特點(diǎn)決定的。

2)根據(jù)WNN結(jié)構(gòu)確定改進(jìn)粒子群算法的維度，即粒子長度。以WNN輸入層與隱含層之間的權(quán)重wij、隱含層與輸出層之間的權(quán)重wjk、伸縮因子a和平移因子b為元素，構(gòu)建粒子的位置向量。

3)初始化粒子群參數(shù)并確定適應(yīng)度值函數(shù)。

4)計算粒子的適應(yīng)度值，并判斷該值是否滿足迭代終止的條件，若滿足，則終止迭代并進(jìn)入步驟8)；若不滿足，則進(jìn)入步驟5)。

5)根據(jù)式(5)、(6)、(8)、(9)、(10)，更新粒子的速度和位置。

6)根據(jù)粒子的適應(yīng)度值對當(dāng)前個體的極值和全局極值進(jìn)行更新。

7)返回步驟4)，重新計算粒子的適應(yīng)度值。

8)輸出迭代停止時相應(yīng)的WNN參數(shù)。

IPSO-WNN算法的實(shí)現(xiàn)流程如圖2所示。

圖2 IPSO算法優(yōu)化WNN流程Fig.2 Optimized WNN process by IPSO algorithm

4 實(shí)驗(yàn)結(jié)果與分析

4.1 模型構(gòu)造

本文在上述IPSO-WNN算法的基礎(chǔ)上，建立GPS高程擬合模型。在該模型中，WNN結(jié)構(gòu)為2-4-1，其中輸入層、輸出層的節(jié)點(diǎn)個數(shù)由GPS高程擬合的特點(diǎn)決定，隱含層節(jié)點(diǎn)的個數(shù)由對比分析確定。由確定的WNN結(jié)構(gòu)可求得IPSO算法的維度為20，算法中其他參數(shù)的設(shè)置如表1所示。

表1 IPSO算法參數(shù)

4.2 實(shí)驗(yàn)數(shù)據(jù)

本文選取某礦區(qū)的實(shí)測GPS控制網(wǎng)數(shù)據(jù)，對提出的GPS高程擬合模型的擬合性能進(jìn)行檢驗(yàn)。測區(qū)內(nèi)共有同精度的GPS水準(zhǔn)點(diǎn)19個，覆蓋面積為120 km2，各GPS點(diǎn)之間均已進(jìn)行三等水準(zhǔn)聯(lián)測。測區(qū)位于我國北部高原地區(qū)，測區(qū)內(nèi)地形起伏較大。為充分驗(yàn)證模型的有效性，在擬合過程中選取9個分布較為均勻的GPS點(diǎn)作為模型的訓(xùn)練集，其余10個GPS點(diǎn)作為模型的測試集。兩組數(shù)據(jù)的分布情況如圖3所示。

圖3 GPS水準(zhǔn)點(diǎn)分布Fig.3 Distribution of GPS leveling points

由于本文所采用的實(shí)驗(yàn)測區(qū)范圍較大，GPS水準(zhǔn)點(diǎn)平面坐標(biāo)間差值較大，為減小模型誤差，對數(shù)據(jù)進(jìn)行歸一化處理[15]：

(11)

式中，x′為歸一化后的輸入序列，xi為原始輸入序列，xmin和xmax分別為樣本的最小值和最大值。

4.3 評價指標(biāo)

為驗(yàn)證IPOS-WNN模型進(jìn)行GPS高程擬合的精度與穩(wěn)定性，在上述數(shù)據(jù)的基礎(chǔ)上，分別建立二次曲面模型、傳統(tǒng)小波神經(jīng)網(wǎng)絡(luò)(WNN)、標(biāo)準(zhǔn)粒子群優(yōu)化小波神經(jīng)網(wǎng)絡(luò)(PSO-WNN)、慣性權(quán)重線性遞減的粒子群算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)(LPSO-WNN)以及改進(jìn)的粒子群算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò)(IPSO-WNN) 5種GPS高程擬合模型，并從以下兩個方面進(jìn)行對比：

1) 分別記錄WNN、PSO-WNN、LPSO-WNN、IPSO-WNN 4種模型在迭代過程中的適應(yīng)度值，比較4種模型的收斂速度與精度。

2) 為提高實(shí)驗(yàn)的可信度，分別將上述5種模型在測試集上進(jìn)行10次獨(dú)立實(shí)驗(yàn)，通過對比測試集中各點(diǎn)擬合殘差的平均值以及數(shù)據(jù)均方誤差的平均值，對模型的穩(wěn)定性和外符合精度進(jìn)行評價。其中，外符合精度的表達(dá)式為：

(12)

式中，n為測試集中點(diǎn)的個數(shù)，即i=1，2，3,…,n；vi為測試集中第i個點(diǎn)高程異常值的擬合值與實(shí)際值之差。

4.4 實(shí)驗(yàn)結(jié)果與分析

圖4(a)為傳統(tǒng)小波神經(jīng)網(wǎng)絡(luò)模型進(jìn)行GPS高程擬合時網(wǎng)絡(luò)訓(xùn)練誤差隨迭代次數(shù)的變化情況。分別采用標(biāo)準(zhǔn)PSO算法、LPSO算法、IPSO算法對WNN模型進(jìn)行優(yōu)化，優(yōu)化后模型的訓(xùn)練誤差隨迭代次數(shù)的變化情況如圖4(b)所示。

圖4 模型訓(xùn)練誤差Fig.4 Training error of models

從圖4(a)可以看出，傳統(tǒng)的WNN模型進(jìn)行GPS高程擬合時算法收斂速度慢，當(dāng)達(dá)到最大迭代次數(shù)時算法仍未收斂。從圖4(b)可以看出，PSO-WNN、LPSO-WNN、IPSO-WNN三種算法收斂時的迭代次數(shù)分別為114、23、14。由此可知，3種算法的收斂速度和精度均明顯優(yōu)于傳統(tǒng)的WNN模型，其中IPSO-WNN模型的收斂精度最高、速度最快。表2(單位cm)為各方案的平均擬合殘差和外符合精度。由各模型的平均擬合殘差繪制各檢核點(diǎn)的殘差變化圖如圖5所示。

表2 各模型擬合結(jié)果

圖5 各模型擬合殘差Fig.5 Fitting residual of each model

從表2可以看出，傳統(tǒng)的WNN模型進(jìn)行GPS高程擬合時擬合效果最差，最大擬合殘差為-6.87 cm，外符合精度為3.91 cm，模型的擬合精度和穩(wěn)定性均低于二次曲面模型。PSO-WNN、LPSO-WNN、IPSO-WNN模型的最大擬合殘差分別為4.61 cm、-3.46 cm和1.85 cm，最小擬合殘差分別為0.94 cm、0.19 cm和0.37 cm，外符合精度分別為2.66 cm、1.99 cm和1.29 cm，上述的擬合精度和穩(wěn)定性均高于二次曲面模型。其中，IPSO-WNN模型的擬合精度最高、穩(wěn)定性最好。從圖5可以看出，IPSO-WNN模型的殘差曲線波動最小，與實(shí)際的高程異常值最為吻合，擬合效果最好。

5 結(jié) 語

本文采用IPSO-WNN模型進(jìn)行GPS高程擬合，并通過實(shí)測數(shù)據(jù)與二次曲面模型、WNN、PSO-WNN、LPSO-WNN模型的擬合性能進(jìn)行對比。結(jié)果表明，當(dāng)測區(qū)內(nèi)地形起伏較大時，傳統(tǒng)的二次曲面模型和WNN模型的擬合精度較低，穩(wěn)定性較差。采用粒子群優(yōu)化后的小波神經(jīng)網(wǎng)絡(luò)模型的擬合性能較二次曲面模型和WNN模型均有所提高，其中，IPSO-WNN模型的擬合精度和穩(wěn)定性明顯高于PSO-WNN和LPSO-WNN模型，可有效避免傳統(tǒng)小波神經(jīng)網(wǎng)絡(luò)易陷入局部極小值和收斂速度慢等問題。