基于支持向量機的GNSS時間序列預(yù)測

鄧永春,徐躍, 徐丹丹, 賈雪, 田先才

(安徽理工大學 測繪學院,安徽 淮南 232001)

0 引 言

全球衛(wèi)星導航系統(tǒng)(GNSS)是包含多種在軌衛(wèi)星的多星座綜合衛(wèi)星系統(tǒng),主要包含美國全球定位系統(tǒng)(GPS)、俄羅斯格洛納斯(GLONASS)、歐盟伽利略衛(wèi)星導航系統(tǒng)(Galileo)和中國北斗衛(wèi)星導航系統(tǒng)(BDS)等[1],GNSS以其全球、全天候數(shù)據(jù)接收,定位精度高,各系統(tǒng)兼容性強等優(yōu)點使得GNSS系統(tǒng)的應(yīng)用極其廣泛．

隨著GNSS的應(yīng)用,GNSS多系統(tǒng)的融合帶來了基線解算的誤差解算模型建立的難題,基線解算誤差模型的建立更加復(fù)雜,同時也使得GNSS時間序列的預(yù)測更加艱難．以人工神經(jīng)網(wǎng)絡(luò)為代表的機器學習,以多層感知器以及多信息的高效特征分層提取的算法,使深度學習對時間序列非線性的處理成為GNSS時間序列預(yù)測的研究熱點[2]．

支持向量機(SVM)是由Vapnik等[3]在1995年提出的通過核函數(shù)將時間序列向高維空間映射的方法,可解決SVM維數(shù)災(zāi)難的問題．本文以高斯徑向基網(wǎng)絡(luò)(RBF)為核函數(shù)建立SVM時間序列預(yù)測數(shù)學模型,并以實際算例檢驗SVM方法在GNSS時間序列預(yù)測中的優(yōu)越性．

1 BP神經(jīng)網(wǎng)絡(luò)與SVM非線性回歸算法

1.1 BP神經(jīng)網(wǎng)絡(luò)

反向傳播(BP)神經(jīng)網(wǎng)絡(luò)[4]是一種誤差反向傳播的多層前向神經(jīng)網(wǎng)絡(luò),是目前應(yīng)用范圍最廣的神經(jīng)網(wǎng)絡(luò)模型．BP神經(jīng)網(wǎng)絡(luò)主要包含輸入層、隱含層和輸出層三層神經(jīng)網(wǎng)絡(luò),它主要通過訓練樣本數(shù)據(jù),通過隱含層學習某種運算規(guī)則,得到接近期望輸出的結(jié)果;當期望值與目標值的誤差未達到預(yù)期時,求期望值與目標值的誤差,根據(jù)誤差調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值,如此反復(fù)直至誤差精度滿足要求．BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示.

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 SVM回歸算法

SVM方法主要運用統(tǒng)計學原理解決二分類和多分類的問題,用監(jiān)督學習的方法找到特征空間中的最佳分離超平面．在引入核函數(shù)[5]、誤差函數(shù)[6]、不敏感損失函數(shù)[7]之后,SVM也可以用來解決時間序列的非線性回歸估計[8]問題．相比于神經(jīng)網(wǎng)絡(luò),SVM方法采用結(jié)構(gòu)化風險最小化原則解決了有限樣本下的機器學習的復(fù)雜程度與機器學習后的模型推廣能力之間的固有矛盾．采用VC(Vap-nik Chervonenkis)維和最小化經(jīng)驗風險實現(xiàn)了經(jīng)驗風險和置信區(qū)間最小化風險泛函問題[9]．

1.2.1 SVM核函數(shù)[6]

SVM處理數(shù)據(jù)時經(jīng)常碰到數(shù)據(jù)線性不可分的情況,于是SVM就采用核函數(shù)的方式將數(shù)據(jù)從線性不可分低維空間映射到線性可分的高維空間．于是在SVM建模中核函數(shù)的選擇至關(guān)重要,核函數(shù)的選擇包括兩個內(nèi)容:1) 核函數(shù)的選擇;2) 核函數(shù)確定后的相關(guān)參數(shù)的選擇．根據(jù)實際情況選擇合適的核函數(shù)是目前SVM研究工作者們的關(guān)注焦點,下面是幾種常用的核函數(shù):

1) 線性核函數(shù):K(x,x′)=xTx′

2) 多項式核函數(shù):K(x,x′)=(γxTx′+r)d

3) 徑向基核函數(shù):K(x,x′)=exp(-γ‖x-x′‖2)

4) Sigmoid核函數(shù):K(x,x′)=tanh(γxTx′+r)

其中,γ,r,d為核函數(shù)中根據(jù)實際的情況自行賦值的參數(shù)．

1.2.2 SVM估計函數(shù)

設(shè)給定非線性訓練集樣本為S={(xi,yi),i=1,2,…,n},其中xi∈Sn．尋找一個非線性函數(shù)φ(·),構(gòu)造一個線性最優(yōu)分類超平面f(x)=ωφ(x)+b,其中向量ω∈Sn,b∈S1,f(x)為模型輸出值,為利用SVM解決回歸擬合問題,具體問題可描述成誤差函數(shù)模型[10]:

(1)

Vapnik等[3]在SVM分類的基礎(chǔ)上引入誤差函數(shù)ε,尋找一個模型輸出值和真實輸出值的絕對值最大為ε,將二次誤差函數(shù)替換成不敏感誤差函數(shù)Eε,則誤差模型可描述為

(2)

式中:C為懲罰參數(shù);Eε為不敏感損失函數(shù),

Eε((yi-f(xi)))=

(3)

在此基礎(chǔ)上引入兩個松弛變量ξ和ξ*,那么支持向量優(yōu)化問題可以寫成:

s.t.yi≤f(xi)+ε+ξi;

(4)

1.2.3 拉格朗日對偶問題

(5)

將上述二次規(guī)劃問題轉(zhuǎn)換成對偶最優(yōu)問題,即為

(6)

式中:(xj,yj)表示超平面邊界上的點；K(xi,xj)=φ(xi)φ(xj)為核函數(shù),本文采用徑向基核函數(shù),徑向基核函數(shù)可以表示為

1.2.4 SVM中KKT問題及參數(shù)求解

根據(jù)Karush-Kuhn-Tucher(KKT)條件[12]可知,最優(yōu)點時拉格朗日乘子與約束條件的向量積為0．那么,可以解得:

參數(shù)b為

(7)

預(yù)測函數(shù)為

(8)

1.3 SVM網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖2 SVM網(wǎng)絡(luò)結(jié)構(gòu)圖

2 GNSS時間序列預(yù)測

圖3 深度學習預(yù)測流程圖

2.1 網(wǎng)絡(luò)建模

對預(yù)處理后的前850組數(shù)據(jù)坐標序列進行訓練并建立神經(jīng)網(wǎng)絡(luò)模型, 根據(jù)經(jīng)驗?zāi)Ｐ蛯P神經(jīng)網(wǎng)絡(luò)進行初始值的設(shè)置[4]:輸入層節(jié)點數(shù)為50,隱含層節(jié)點數(shù)為10,輸出層節(jié)點數(shù)為1,神經(jīng)網(wǎng)絡(luò)的最大迭代次數(shù)為2 000次,神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)學習率為0.01,誤差目標值為0.000 1;利用LIBSVM完成支持向量機的初始設(shè)置為:采用梯度下降的方法尋找最優(yōu)懲罰參數(shù)C,內(nèi)核函數(shù)參數(shù),損失函數(shù)的參數(shù)值0.01．并運用上述BP神經(jīng)網(wǎng)絡(luò)和SVM網(wǎng)絡(luò)訓練建立的模型對最后的第901到1 000共100個數(shù)據(jù)進行預(yù)測．

2.2 網(wǎng)絡(luò)建模及時間序列預(yù)測

為研究網(wǎng)絡(luò)訓練及預(yù)測成果,本文對GNSS解算的X、Y、Z坐標分別進行BP神經(jīng)網(wǎng)絡(luò)和SVM網(wǎng)絡(luò)建模結(jié)果如圖4所示．

如圖4所示,圖中以黑色線段連接的正方形表示經(jīng)過數(shù)據(jù)預(yù)處理的原始預(yù)測數(shù)據(jù),以紅色連接的圓形表示BP神經(jīng)網(wǎng)絡(luò)對原始序列的預(yù)測值,以藍色連接的三角形表示SVM網(wǎng)絡(luò)對原始序列的預(yù)測值,從訓練結(jié)果可以看出SVM網(wǎng)絡(luò)對原始序列的預(yù)測結(jié)果比BP神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果更集中,具有更好的穩(wěn)定性;在應(yīng)對數(shù)據(jù)突變數(shù)據(jù)時SVM網(wǎng)絡(luò)也能更好地應(yīng)對預(yù)測突變,具有更好的魯棒性;但是在預(yù)測時不管BP神經(jīng)網(wǎng)絡(luò)還是SVM網(wǎng)絡(luò)都會有一定的延遲性尤其在突變處,延遲性表現(xiàn)得更為明顯．

2.3 預(yù)測結(jié)果分析

依據(jù)上面建立的網(wǎng)絡(luò)模型對測試集時間序列進行預(yù)測,預(yù)測結(jié)果如圖5所示,預(yù)計的評價指標采用均方誤差(MSE),計算結(jié)果如表1所示．

(9)

圖4 訓練集預(yù)測結(jié)果

圖5 測試集預(yù)測結(jié)果

坐標訓練集BP神經(jīng)網(wǎng)絡(luò)SVM網(wǎng)絡(luò)測試集BP神經(jīng)網(wǎng)絡(luò)SVM網(wǎng)絡(luò)X0.046 40.041 90.035 80.027 1 Y0.042 30.037 40.030 10.022 7Z0.071 00.042 30.082 40.046 9

從圖5和表1中可看出:

1)從預(yù)測穩(wěn)定性看,SVM網(wǎng)絡(luò)在預(yù)測結(jié)果的趨勢以及在原始序列的突變區(qū)域預(yù)測穩(wěn)定性比BP神經(jīng)網(wǎng)絡(luò)更優(yōu);

2)從預(yù)測精度看,SVM網(wǎng)絡(luò)的預(yù)測均方誤差明顯小于BP神經(jīng)網(wǎng)絡(luò)的均方誤差,SVM具有較高的預(yù)測精度;

3)由于深度學習固有的學習機制的問題,使得BP神經(jīng)網(wǎng)絡(luò)和SVM網(wǎng)絡(luò)訓練及預(yù)測對時間序列的預(yù)測都有一定的滯后性．

3 結(jié)束語

本文在深度學習框架下研究GNSS時間序列的預(yù)測問題．研究結(jié)果表明,采用結(jié)構(gòu)風險最小化的支持向量機模型具有更好的統(tǒng)計學理論基礎(chǔ),避免陷入局部最優(yōu)的陷阱,SVM網(wǎng)絡(luò)的預(yù)測結(jié)果比BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果具有更好的預(yù)測精度和魯棒性,但是在GNSS長時間序列的預(yù)測方面仍待進一步研究．