基于機(jī)器學(xué)習(xí)的單站對流層延遲預(yù)測建模＊

聶帥 葛雅倩 譚福臨 鐘東升

（安徽理工大學(xué)，安徽淮南 232001）

0.引言

誤差修正是GNSS測量及應(yīng)用的關(guān)鍵環(huán)節(jié)，雖然GNSS量測誤差的誤差來源較為復(fù)雜，但不同的衛(wèi)星系統(tǒng)的來源基本一致。與信號傳播有關(guān)的誤差對距離測量的影響為1.5m～15m。本文研究對流層延遲模型，屬于與信號傳播有關(guān)的誤差。在研究方法方面，本文使用機(jī)器學(xué)習(xí)算法中的偏最小二乘PLS與極限學(xué)習(xí)機(jī)ELM來建立數(shù)學(xué)模型，并將輸出結(jié)果與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)相對比。

陳陽等[1]利用BP神經(jīng)網(wǎng)絡(luò)誤差補(bǔ)償技術(shù)，結(jié)合Hopif eld模型建立了適于北半球的融合模型。呂慧珠等[2]對ZTD的頻譜結(jié)構(gòu)進(jìn)行研究，構(gòu)造預(yù)測模型，使用自回歸（AR）方法校正殘差，預(yù)測精度達(dá)厘米級。李偉捷等[3]為提高無氣象情況下ZTD預(yù)測的精準(zhǔn)性，采用小波——AR組合模型對IGS中7個測站實(shí)現(xiàn)單站ZTD建模，預(yù)測精度達(dá)3cm。本文采用中國香港HKSL站數(shù)天的天頂對流層延遲數(shù)據(jù)，基于PLS和ELM的理論支持，得到了中國香港地區(qū)單站天頂對流層延遲模型。

1.對流層延遲模型的建立

1.1 偏最小二乘

偏最小二乘法是主成分回歸分析（Principal Component Regression，PCR）的改進(jìn)。PCR未考慮對輸出變量的解釋能力[4]，而PLS在PCR的條件上增加了一個新條件：輸入與輸出應(yīng)具有盡可能大的相關(guān)程度。以下為詳細(xì)的推導(dǎo)過程。

已知X和Y分別為n×q和n×p數(shù)據(jù)矩陣（n個樣本點(diǎn)）。首先，用主成分分析對數(shù)據(jù)矩陣X和Y提取最大主成分，數(shù)據(jù)矩陣X和Y分解后得：

上式中，T和R分別是數(shù)據(jù)矩陣Y和X的得分矩陣，V和Q分別為相應(yīng)的載荷矩陣，E和F分別為數(shù)據(jù)矩陣Y和X的殘差矩陣。之后，建立得分矩陣T和R之間的線性回歸模型：R=BT。由最小二乘原理，可以求得系數(shù)矩陣B的估計(jì)矩陣=(T'T)-1T'R。最后，進(jìn)行數(shù)據(jù)重構(gòu)，得到因變量數(shù)據(jù)矩陣X和自變量數(shù)據(jù)矩陣Y之間的關(guān)系：

對于標(biāo)準(zhǔn)化輸入變量矩陣Y和輸出變量矩陣，X要求構(gòu)造變量t1和u1滿足：

同時(shí)，應(yīng)滿足以下3個條件：

（1）t1應(yīng)盡可能大的攜帶輸入變量矩陣X的信息，即Var(t1)→ max。

（2）u1應(yīng)盡可能大的攜帶輸出變量矩陣Y的信息，即 Var(t2)→ max。

（3）t1和u1應(yīng)具有的可能大的相關(guān)程度，即r(t1,u1)→max。

上述問題可以轉(zhuǎn)化為計(jì)算t1和u1的協(xié)方差的最大值，即存在Cov(t1,u1)→max，使得||ω1||=||C1||=1。

構(gòu)造拉格朗日函數(shù)，列式求解多元方程，可得矩陣X'YY'X的特征向量為ω1，對應(yīng)的特征值為θ2。同理，C1使矩陣Y'XX'Y的特征向量，對應(yīng)的特征值為θ2。

若回歸方程的精度已經(jīng)滿足要求，則停止；否則，利用殘差矩陣X＊和Y＊，計(jì)算第二主成分，并重新建立回歸方程，以此類推，直到回歸方程的精度滿足要求為止。

1.2 極限學(xué)習(xí)機(jī)

從本質(zhì)上說，極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）并不新穎，ELM在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上[5]，是一個前向神經(jīng)網(wǎng)絡(luò)。ELM的輸入層和隱含層的連接權(quán)值可隨機(jī)設(shè)定，隱含層的閾值也可隨機(jī)設(shè)定，且隱含層及輸出層之間的連接權(quán)值β無需迭代調(diào)整（通過解方程組確定）。對比傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，BP需要不斷反向調(diào)整權(quán)值和閾值，耗費(fèi)了計(jì)算量。

對于單隱含層網(wǎng)絡(luò)，假設(shè)Xi=[xi1,xi2,…,xim]T∈Rn，ti=[ti1,ti2,…,tim]T∈Rm。對于有L個隱層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)，可寫為其中，g(x)為激活函數(shù)，Wi=[ωi1,ωi2,…,ωim]T為輸入權(quán)重，βi為輸出權(quán)重，bi為第i隱層單元的偏置，Wi·Xj表示W(wǎng)i和Xj的內(nèi)積。

單隱含層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)是使得輸出的誤差最小，可表示為,即存在 βi，Wi和 bi，使得即 ：

其中，H是隱含層節(jié)點(diǎn)的輸出，β為輸出權(quán)重，T為期望輸出。

為了訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)，解最小損失函數(shù)，即：

在ELM算法中，一旦輸入權(quán)重Wi和隱層的偏置bi被隨機(jī)確定，隱層的輸出矩陣H就被唯一確定。訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)可轉(zhuǎn)化為求解一個線性系統(tǒng)Hβ=T的問題。

其中，HT是矩陣H的廣義逆，且可證明求得的解的范數(shù)最小且唯一。

1.3 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)又稱為誤差反向傳播神經(jīng)網(wǎng)絡(luò)[6]，是一種多層前向型神經(jīng)網(wǎng)絡(luò)。在BP神經(jīng)網(wǎng)絡(luò)中，信號向前傳播，誤差反向傳播。所謂反向傳播是指誤差從最后的輸出層依次向之前各層逐漸進(jìn)行調(diào)整。由于其在各個領(lǐng)域已得到廣泛應(yīng)用，且已經(jīng)衍生出了各種基于BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法，故原理不再贅述。

1.4 建模思路

在上述的理論基礎(chǔ)上，使用MATLAB R2019a進(jìn)行算法驗(yàn)證。對于ZTD文件，輸入為IGS站的位置信息，輸出則為對應(yīng)時(shí)刻的ZTD數(shù)據(jù)。建模時(shí)，輸入前一天或者前兩天的位置數(shù)據(jù)，輸出為對應(yīng)ZTD數(shù)據(jù)。測試時(shí)，輸入位置信息，輸出預(yù)測ZTD數(shù)據(jù)。將預(yù)測值與真實(shí)值對比，得到精度。最后進(jìn)行三種方法的精度比較，其中BP神經(jīng)網(wǎng)絡(luò)模型為參照組。

2.數(shù)據(jù)來源及分析

本文所用的數(shù)據(jù)來源于中國香港HKSL觀測站，該地區(qū)的經(jīng)度為113.9280°，緯度為22.3720°，高程為95.2757°。本文采用了2019年26日至28日連續(xù)3天的天頂對流層延遲數(shù)據(jù)來進(jìn)行結(jié)果分析。所使用的HKSL數(shù)據(jù)，時(shí)間間隔為5min，每天可得到288組數(shù)據(jù)。

3.模型結(jié)果分析

本文以BP神經(jīng)網(wǎng)絡(luò)所建立的對流層預(yù)測模型為對照組，分析BP對流層預(yù)測模型與PLS對流層預(yù)測模型和ELM對流層預(yù)測模型的精度差異。使用MATLAB完成ZTD文件的數(shù)據(jù)導(dǎo)入，建模，預(yù)測，并計(jì)算其均方根誤差及平均偏差（本文將IGS所提供的ZTD數(shù)據(jù)作為真值處理）。在建模過程中，考慮了三種不同類型的時(shí)間預(yù)測（選取三種代表性較強(qiáng)的情況）：第1天預(yù)測第2天；第1、2天預(yù)測第3天：第1天預(yù)測第2、3天。得到以下真值偏差圖（綠色為類型1，紅色為類型2，紅色加粉色為類型3）。如圖1所示。

圖1 平均偏差圖

由圖1可知，三種模型的誤差都在20mm以內(nèi)。在精度波動接近時(shí)，三種方法的RMSE及Bias有著明顯區(qū)別——BP模型的RMSE最小為8mm，最大為38mm；Bias最小為70mm。而ELM模型及PLS模型的同類指標(biāo)僅為1mm～2mm，穩(wěn)定性較高。同時(shí)有已發(fā)表的論文可知，一般情況下，ELM模型運(yùn)算速度高于BP模型。

4.結(jié)論

分別使用ELM和PLS建立了對流層延遲預(yù)測模型，同時(shí)使用BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行對比。結(jié)果表明，ELM模型不僅適于各種時(shí)段的對流層延遲預(yù)測，而且計(jì)算速度快[5]，PLS模型則適于短時(shí)預(yù)報(bào)，但精度依舊由于BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。一般情況下，ELM模型運(yùn)算速度高于BP模型。同時(shí)ELM模型短時(shí)預(yù)報(bào)及長時(shí)預(yù)報(bào)精度都較高，相比之下，同等精度要求下，PLS模型所需要的建模數(shù)據(jù)更多。