幾種改進的BP神經(jīng)網(wǎng)絡在GPS高程擬合中的應用比較

魏宗海

(河北省地礦局第三地質大隊,張家口075000)

?

幾種改進的BP神經(jīng)網(wǎng)絡在GPS高程擬合中的應用比較

魏宗海

(河北省地礦局第三地質大隊,張家口075000)

為了提高GPS高程擬合的精度和效率,本文分別利用幾種常見的算法對標準BP神經(jīng)網(wǎng)絡進行了改進,結合控制網(wǎng)測量實例,分別利用外符精度、內(nèi)符精度、測試步長以及運行時間4個指標對擬合結果進行評價。結果表明,不同改進算法的設計分別能有效提高擬合的精度和效率,在實際的工程實踐中,可以根據(jù)具體擬合要求采取合適的算法對BP神經(jīng)網(wǎng)絡進行改進。

BP神經(jīng)網(wǎng)絡;GPS高程擬合;高程異常；算法改進

0 引 言

目前,GPS技術以其定位精度高,測量速度快以及操作簡單等優(yōu)點正逐漸取代傳統(tǒng)的測量技術[1]。GPS測量系統(tǒng)所采用的坐標系是WGS-84坐標系,在進行水準測量時獲取的是大地高H1,而我國采用的是以似大地水準面為基準的正常高H2。因此,需要建立合適的模型實現(xiàn)兩者之間的轉換。在忽略垂線偏差的情況下,大地高與正常高之間的關系可近似表示為

ε=H1-H2,

(1)

式中,ε為高程異常。通過上式可以看出,實現(xiàn)兩者轉換的關鍵在于如何精確的獲取高程異常值,但高程異常值無法直接通過測量儀器進行獲取,目前也并沒有統(tǒng)一的數(shù)學模型進行計算[2]。因此,如何獲取高精度的高程異常值成為將GPS技術應用于我國水準測量建設的關鍵[3]。

目前,國內(nèi)外學者已經(jīng)建立并實現(xiàn)了多種求取高程異常值的模型和方法,主要有重力模型法、函數(shù)模型法、隨機模型擬合法以及神經(jīng)網(wǎng)絡等。每種模型都有其各自的優(yōu)缺點[4]。例如重力模型法,需要的參數(shù)過多,模型復雜程度高,適用性低,但得到的高程異常值精度較高。目前,BP神經(jīng)網(wǎng)絡技術以其在處理非線性問題所表現(xiàn)出來的優(yōu)勢,正逐漸成為求取高程異常值的主要技術方法。

本文針對BP神經(jīng)網(wǎng)絡技術在處理非線性映射問題上,表現(xiàn)出來的網(wǎng)絡參數(shù)難確定,收斂速度較慢且易陷入極小值等問題,分別應用不同的算法進行改進,主要包括附加動量項、自適應學習速率、彈性BP、變梯度算法、牛頓法、L-BFGS以及LM算法。結合GPS控制網(wǎng)測量實例,分別利用外符精度、內(nèi)符精度、測試步長以及運行時間四個指標對擬合結果進行評價。本文采用的訓練集中輸入向量共包含四個,分別為(X,Y,H1,H2),標準輸出為已知的高程異常值,在進行仿真時輸入向量僅為(X,Y,H1,H2),高程異常值未知。

1 基本BP神經(jīng)網(wǎng)絡算法

1.1 網(wǎng)絡結構

誤差反向傳播多層前饋神經(jīng)網(wǎng)絡(BP神經(jīng)網(wǎng)絡),是目前在處理非線性映射問題中應用較為廣泛的一類神經(jīng)網(wǎng)絡[5]。網(wǎng)絡結構由三部分構成,分別為輸入層,隱含層與輸出層。相鄰神經(jīng)元之間實現(xiàn)全連接,而同層神經(jīng)元互不連接[6]。輸入層與輸出層節(jié)點數(shù)目主要由輸入輸出向量的維數(shù)來確定。對于隱層節(jié)點數(shù)目的確定,目前并沒有指定的標準進行參考,一般采用試錯法進行選擇。根據(jù)Kolmogorov定理可知,單隱層BP神經(jīng)網(wǎng)絡能在閉集上以任意精度逼近任意非線性連續(xù)函數(shù),所以本文隱層數(shù)量設置為1[7]。其中網(wǎng)絡結構如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡的結構

1.2 BP神經(jīng)網(wǎng)絡學習算法步驟[8]

第一步:設置變量。

Xk=[xk1,xk2,…,xkM](k=1,2,…,N)為輸入向量,或稱訓練樣本,N為訓練樣本的個數(shù)。

Yn(n)= [yk1(n),yk2(n),…,ykp(n)]T

(k=1,2,…,N).

為第n次迭代時網(wǎng)絡的實際輸出。

dk=[dk1,dk2,…,dkp]T(k=1,2,…,N)為期望輸出。

第二步:初始化,賦給各映射神經(jīng)元一個較小的隨機非零值,即初始權值。

第三步:對輸入樣本Xk前向計算BP神經(jīng)網(wǎng)絡每層神經(jīng)元的輸入信號u和輸出信號v.

第四步:由期望輸出dk和上一步求得的實際輸出計算誤差E(n),判斷其是否滿足要求,若滿足轉至第七步,不滿足轉至第五步。

第五步:判斷n+1是否大于最大迭代次數(shù),若大于轉至第七步,若不大于則對輸入樣本Xk反向計算每層神經(jīng)元的局部梯度δ.

第六步:按公式:

Δωij(n)=aΔωmj(n-1)+ηδj(t)νm(t),

(2)

計算權值修正量Δω,其中a為學習率,并修正權值n=n+1,轉至第四步。

第七步:判斷是否學完所有的訓練樣本,是則結束,否則進入第三步。

2 改進神經(jīng)網(wǎng)絡學習算法

2.1 附加動量法

在標準BP神經(jīng)網(wǎng)絡中,權值的調整一般主要考慮誤差在梯度上的作用,此時,網(wǎng)絡在誤差修正過程中易陷入到極小值中。附加動量法的實質是在最后一次權值修正時,通過增加一個動量項來滑過可能出現(xiàn)的極小值點。同時在附加動量算法中,可以設置一個較大的學習率,而不會造成學習過程的發(fā)散,因為即使修正過量時,該算法總是可以使修正量減小,以保持修正方向向著收斂的方向進行。因此,附加動量算法的收斂速率較快,學習時間較短。

2.2 自適應學習速率

由BP神經(jīng)網(wǎng)絡的誤差傳遞特點可知,其學習率在整個訓練過程中一直是保持不變的,包括前面提到的附加動量法進行的改進,但訓練程度的好壞與學習率的選擇具有緊密的聯(lián)系,同時學習算法也對學習率具有很強的敏感性。當學習率的選擇較大時,訓練過程中權值修正的程度較高,此時算法的不穩(wěn)定性將會加強;當學習率的取值較小時,單位步長內(nèi)誤差修正的程度較低,容易加長訓練的時間。

自適應學習速率算法對BP神經(jīng)網(wǎng)絡的修正主要集中在學習率上,調整后的BP神經(jīng)網(wǎng)絡在訓練過程中,學習率是不斷隨著誤差曲面以及運行步長而改變的,這主要是通過在誤差調整過程中加入增量因子與縮量因子完成的。當誤差隨訓練步長不斷減小時,可適當增加步長,使學習率乘以增量因子;當誤差隨訓練步長不斷增加時,可適當減小步長,使學習率乘以縮減因子。下式給出一個自適應學習速率的調整公式,此時增量因子與縮量因子分別為1.05與0.7,

(3)

式中: η(k)與E(k)分別為第k步的誤差平方與學習速率,初始學習速率的選取范圍具有很大的隨意性。

2.3 L-BFGS算法[9]

擬牛頓法(L-BFGS)算法是對牛頓法(BFGS)算法的進一步優(yōu)化,在迭代過程中,通過保存部分梯度算子和模型修正量的信息來求取偽海森矩陣,以此來避免海森矩陣的直接存儲與精確求解,從而使得解算的復雜度大大降低。針對極小化問題,精確的線搜索還可以提高L-BFGS算法收斂性,加速收斂,同時計算精度也有一定的提高。

2.4 LM算法[10]

Levenberg-Marquart 算法,習慣上簡稱為LM算法,該算法同時具備了牛頓法以及變梯度算法的相關優(yōu)勢。其中牛頓法方面主要表現(xiàn)在其在迭代過程中能在最優(yōu)值附近產(chǎn)生一個理想搜索方向;在變梯度算法方面其同樣在迭代開始進行時是沿著梯度最陡的方向進行的。但LM算法引入了Hesse陣,并且求取方法為完全結算,因此算法的復雜程度較高,在進行迭代的過程中需要的時間更長,但保證了結果的準確性。

2.5 其他改近算法[11]

其他常用的改近算法還有彈性BP、變梯度算法以及牛頓法等。其中彈性BP算法的基本原理是權重和閾值更新值的直接修改,通過引入Resi-

lient有彈性的概念實現(xiàn)對權值的修正;變梯度算法對BP神經(jīng)網(wǎng)絡的修正主要反映在誤差的傳播方向上,其誤差函數(shù)是沿著梯度變化的方向進行修正的;牛頓法在算法形式上等同于所有流行的優(yōu)化方法,即首先確定初始搜索方向,沿著此方向進行一維搜索,確定該方向的極小值點,確定后以該點為出發(fā)點,再此重新確定搜索方向,一直重復進行,直到函數(shù)梯度小于訓練預設的梯度。

3 實驗與結果比較

3.1 實驗區(qū)域控制網(wǎng)

高程異常的變化值與地形起伏有很大關系,一般來講平原區(qū)高程異常差距較小,而山地高程異常差距較大。目前在平原地區(qū)常用的是二次曲面擬合與神經(jīng)網(wǎng)絡模型;而在地形起伏較大的區(qū)域常用的則是重力模型法。本文主要研究各改進神經(jīng)網(wǎng)絡在平原地區(qū)擬合效果的比較,因此以某一區(qū)域面積約為10 km2的地勢較平緩的地區(qū)為例,對該地區(qū)布設GPS控制網(wǎng),網(wǎng)形中各控制點之間的距離約為1 km2,對網(wǎng)中控制點按照B級測量要求進行施測,并對部分控制點按照二等水準測量進行聯(lián)測。測量成果如表1所示。

表1 B級GPS高程和二等水準測量成果

3.2 各改進算法擬合效果比較

本文將1～12號控制點定為訓練點,13～19號控制點定為檢驗點。首先進行BP神經(jīng)網(wǎng)絡的訓練,將各訓練點的橫坐標、縱坐標、GPS高程以及水準高程當做輸入向量,并將其高程異常值當做標準輸出。設定訓練步長為2 000,目標誤差定位0.000 01 m,激活函數(shù)為Sigmoid函數(shù),在網(wǎng)絡訓練結束后進行仿真,再此將訓練點與檢驗點的橫縱坐標、GPS高程以及水準高程作為輸入向量,仿真輸出值與標準高程異常值之差即為擬合殘差?；谏鲜霾襟E,分別利用上述各算法改進的BP神經(jīng)網(wǎng)絡進行擬合檢驗,結果如表2所示,對于擬合誤差的精度用cm表示。

表2 不同改進算法擬合的控制點高程異常誤差

根據(jù)表2及圖2可知,將改進的BP神經(jīng)網(wǎng)絡學習算法應用于GPS高程擬合的方法是可行的,并且不同改進算法的設計分別能有效提高擬合的精度和效率。例如,附加動量項可以避免網(wǎng)絡陷入局部極小值點;變梯度算法和牛頓法可以加快收斂速度。各改進算法在內(nèi)符精度方面差距并不大,但對于驗證性控制點而言,外符精度差距較大。在運

圖2 不同改進算法得到的高程異常誤差分布圖

行時間方面,由于各算法采用的訓練方法不同,訓練結果也有很大的差距。對于擬合精度而言,最高的是LM算法;對于擬合效率而言,最高的是變梯度算法。

4 結束語

經(jīng)過試驗和結果分析,可以得出如下幾個結論:

1) 在測量精度方面,基于LM算法改進的BP神經(jīng)網(wǎng)絡技術的擬合精度最高,但LM算法要對Hesse陣進行近似計算,所以算法的復雜度較高,迭代時間較長。

2) 在擬合效率上,變梯度算法改進的BP神經(jīng)網(wǎng)絡由于誤差函數(shù)是沿著變化的方向進行搜索,所以收斂的速度更快。但變梯度算法僅對誤差傳播方向進行修正,并未對誤差傳播機制進行變革,使得擬合的精度較標準BP神經(jīng)網(wǎng)絡而言,并未有所改善。

3) 在實際的GPS高程擬合中,應用BP神經(jīng)網(wǎng)絡得到的高程異常是可以直接滿足水準測量需求的。本文通過實驗證明了不同改進算法的設計分別能有效提高擬合的精度和效率。其中,在對擬合精度要求較高時,可以采用彈性BP或LM算法進行改進;在對擬合效率要求較高時,可以采用附加動量項、變梯度、牛頓法以及自適應算法進行網(wǎng)絡改進;在對兩者要求均較高時,可以采用L-BFGS算法進行改進。

[1] 孫傳勝,楊國東,吳瓊.神經(jīng)網(wǎng)絡在 GPS高程擬合中的應用[J].測繪通報,2011(8):48-50.

[2] 王樹海.轉換GPS高程的BP神經(jīng)網(wǎng)絡方法研究[J].測繪科學,2008,33(6):78-80.

[3] 趙輝,張書畢,張秋昭.基于加權總體最小二乘法的GPS高程擬合[J].大地測量與地球動力學,2011(5):88-91.

[4] KAVOGLU T, SAKA M H. Modeling local GPS/leveing geoid undulations using artificial neuralnetwork[J].Journalof Geodesy,2004,78(9):520-527.

[5] 朱衛(wèi)東,李全海.基于標準化動量神經(jīng)網(wǎng)絡的GPS高程轉換[J].大地測量與地球動力學,2010,3(1):123-125.

[6] 盧獻健,晏紅波,梁月吉,等.各組合模型在GPS 高程擬合中的應用[J].研究測繪通報,2015(5):20-23.

[7] 和會,聞洪峰,魏太淵.基于 LM—BP神經(jīng)網(wǎng)絡的GPS高程擬合算法研究[J].測繪與空間地理信息,2011,34(6):95-97.

[8] 張磊.基于人工神經(jīng)網(wǎng)絡的GPS高程異常擬合方法的研究與實現(xiàn)[D].長安:長安大學,2012.

[9] 何美琳,文鴻雁,潘元進,等.GPS高程擬合的方法比較[J].測繪科學,2013,38(3):63-65.

[10] 張自敏,樊艷英,陳冠萍.LM-BP神經(jīng)網(wǎng)絡在農(nóng)業(yè)總產(chǎn)值預測的應用[J].安徽農(nóng)業(yè)科學,2014,42(28):109-111.

[11] 秦寧,基于整體最小二乘面擬合及其在GPS高程擬合中的應用研究[D].成都:西南交通大學,2015.

Comparison of Several Improved BP Neural Network in GPS Height Fitting

WEI Zonghai

(HebeiProvincialBureauofGeologyThirdGeologicalBrigade,Zhangjiakou075000,China)

In order to improve the efficiency and accuracy of GPS height fitting. In this paper, the use of several common algorithms of standard BP neural network was improved, combined with the control network measurement examples, respectively using the match precision and match accuracy, the testing step size and running time four indicators, evaluates the results of fitting.The results show that the improved algorithm design can effectively improve the fitting precision and efficiency, in the actual engineering practice, the project can according to the specific fitting to take appropriate algorithm to improve the BP neural network.

BP neural network; GPS heightfitting; height anomaly; algorithm improvement

10.13442/j.gnss.1008-9268.2016.05.020

2016-06-01

P228.4

A

1008-9268(2016)05-0099-05

魏宗海 (1982-),男, 高級工程師, 主要從事測繪新技術的開發(fā)與利用。

聯(lián)系人： 魏宗海 E-mail: 15726207432@163.com