一種基于機(jī)器學(xué)習(xí)算法的區(qū)域/單站ZTD組合預(yù)測(cè)模型

楊旭，何祥祥，王媛媛，譚福臨，陳雄川

(1.安徽理工大學(xué) 礦區(qū)環(huán)境與災(zāi)害協(xié)同監(jiān)測(cè)煤炭行業(yè)工程研究中心,安徽 淮南 232001；2.安徽理工大學(xué) 礦山采動(dòng)災(zāi)害空天地協(xié)同監(jiān)測(cè)與預(yù)警安徽普通高校重點(diǎn)實(shí)驗(yàn)室,安徽 淮南 232001；3.安徽理工大學(xué) 空間信息與測(cè)繪工程學(xué)院,安徽 淮南 232001；4.自然資源部大地測(cè)量數(shù)據(jù)處理中心,西安 710054)

0 引言

根據(jù)天頂對(duì)流層總延遲(ZTD)模型應(yīng)用時(shí)所需條件的不同，可將ZTD 模型分為兩大類.第一類ZTD 模型需要實(shí)測(cè)氣象參數(shù)，如大氣壓、水汽壓和溫度，主要包括Hopfield、Saastamoinen 以及Black 等模型[1]，在實(shí)際導(dǎo)航定位中，有時(shí)會(huì)遇到無(wú)法獲取氣象參數(shù)或者獲取的氣象參數(shù)不穩(wěn)定等情況，給導(dǎo)航定位帶來(lái)了不便.鑒于此，眾多學(xué)者建立了第二類無(wú)實(shí)測(cè)氣象參數(shù)的經(jīng)驗(yàn)ZTD 模型，它依靠大量的經(jīng)驗(yàn)數(shù)據(jù)建立了各種影響因素與ZTD 之間的映射，由于無(wú)需任何氣象參數(shù)的參與，該經(jīng)驗(yàn)ZTD 模型已取得了長(zhǎng)足發(fā)展，主要包括早期的UNB 系列、EGNOS 模型以及近年來(lái)一些學(xué)者提出的GPT2、GPT2w 和IGGtrop等模型[2].

近年來(lái)，機(jī)器學(xué)習(xí)技術(shù)在多個(gè)領(lǐng)域得到了廣泛應(yīng)用，在ZTD 建模方面也取得了一定的成就.王勇等[3]以南加州GPS 網(wǎng)的GPS 測(cè)站的ZTD 數(shù)據(jù)為研究對(duì)象，利用BP 神經(jīng)網(wǎng)絡(luò)算法，以測(cè)站經(jīng)緯度和海拔為輸入量，對(duì)ZTD 預(yù)測(cè)模型展開(kāi)了研究.為了克服傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)計(jì)算量大，易出現(xiàn)“過(guò)擬合”現(xiàn)象以及模型不穩(wěn)定的問(wèn)題，肖恭偉等[4]提出了基于改進(jìn)的BP 神經(jīng)網(wǎng)絡(luò)建立區(qū)域ZTD 模型，該模型以歸一化處理后的測(cè)站大地經(jīng)緯度和大地高為模型輸入，以ZTD 為輸出.時(shí)瑤佳等[5]提出了一種基于Keras 平臺(tái)的長(zhǎng)短期記憶網(wǎng)絡(luò)ZTD 預(yù)測(cè)模型，并與BP 神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)效果進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明：LSTM模型預(yù)測(cè)結(jié)果的均方根誤差(RMSE)達(dá)到了毫米級(jí)，其平均絕對(duì)誤差和平均絕對(duì)百分比誤差均比BP 模型低，LSTM 模型在精度和穩(wěn)定性上較BP模型均有明顯提高.本文以香港連續(xù)運(yùn)行參考站(CORS)網(wǎng)為例，針對(duì)無(wú)需輸入實(shí)時(shí)氣象參數(shù)這一特點(diǎn)，在以參與建模測(cè)站三維坐標(biāo)為輸入的基礎(chǔ)上，同時(shí)考慮ZTD時(shí)變特征，利用BP 神經(jīng)網(wǎng)絡(luò)算法構(gòu)建區(qū)域ZTD 預(yù)測(cè)模型.此外，以ZTD 單站時(shí)間序列數(shù)據(jù)為基礎(chǔ)，利用LSTM 算法建立單站ZTD 預(yù)測(cè)模型.最后在兩種ZTD 模型的基礎(chǔ)上提出區(qū)域/單站ZTD 組合模型.

1 ZTD 預(yù)測(cè)模型構(gòu)建

1.1 區(qū)域ZTD 建模數(shù)據(jù)預(yù)處理

在進(jìn)行區(qū)域ZTD 建模時(shí)，選擇了香港CORS 網(wǎng)18 個(gè)監(jiān)測(cè)站連續(xù)14 天觀測(cè)數(shù)據(jù)(2017 年年積日121—134)，采用Bernese 軟件進(jìn)行了高精度數(shù)據(jù)處理，得到的ZTD 數(shù)據(jù)序列采樣間隔為1 h.在實(shí)際建模中，以HKWS 測(cè)站年積日為134 的ZTD 為真值作為驗(yàn)證數(shù)據(jù)，因此需選擇除HKWS 測(cè)站以外的測(cè)站ZTD 數(shù)據(jù)參與區(qū)域ZTD 建模.

在獲取初始信息并準(zhǔn)備建立數(shù)學(xué)模型時(shí)，為避免較大數(shù)值的變化掩蓋掉小數(shù)值的變化并加快網(wǎng)絡(luò)收斂速度，有必要對(duì)數(shù)據(jù)進(jìn)行量化和集成，以消除對(duì)預(yù)測(cè)結(jié)果的影響.為了消除數(shù)據(jù)之間顯著的數(shù)量級(jí)差異，需要進(jìn)行數(shù)據(jù)歸一化操作[6]，本文將測(cè)站各個(gè)時(shí)間點(diǎn)在WGS-84 坐標(biāo)系下的三維坐標(biāo)(X，Y，Z)、時(shí)刻t為基于某一起始?xì)v元經(jīng)過(guò)的時(shí)間，以秒計(jì)和相應(yīng)的ZTD 數(shù)據(jù)歸一化到[–1,1]這一區(qū)間內(nèi)，該歸一化的方式可用下式表達(dá)：

式中：ymax=1 和ymin=-1 為參數(shù)，表示數(shù)據(jù)歸一化之后的上限和下限；xmax和xmin表示待歸一化的數(shù)據(jù)分別在WGS-84 坐標(biāo)系下的三維坐標(biāo)、時(shí)間以及ZTD序列中的最大值和最小值；x為待歸一化的數(shù)據(jù).

數(shù)據(jù)歸一化后，數(shù)量級(jí)會(huì)大幅降低，且無(wú)量綱影響，將會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度以及效果產(chǎn)生優(yōu)化，表1為歸一化后的部分?jǐn)?shù)據(jù).

表1 歸一化前后的部分?jǐn)?shù)據(jù)

利用BP 神經(jīng)網(wǎng)絡(luò)算法建立區(qū)域ZTD 模型，得到預(yù)測(cè)值后，還需要通過(guò)反歸一化處理把這些歸一化的ZTD 預(yù)測(cè)值數(shù)據(jù)還原到原始數(shù)據(jù)的數(shù)量級(jí).

1.2 單站ZTD 建模數(shù)據(jù)預(yù)處理

單站ZTD 建模時(shí)，選擇未參與區(qū)域建模的HKWS測(cè)站連續(xù)13 天(2017 年年積日121—133) ZTD 數(shù)據(jù)參與建模，以第134 天的ZTD 為真值進(jìn)行預(yù)測(cè)效果驗(yàn)證.

為了防止模型擬合效果差或者出現(xiàn)訓(xùn)練發(fā)散的問(wèn)題，首先對(duì)訓(xùn)練和測(cè)試數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理.標(biāo)準(zhǔn)化的目的是使原始訓(xùn)練數(shù)據(jù)服從均值為0 和方差為1 的分布以去除量綱的影響，這有利于不同數(shù)據(jù)之間的比較與分析[7].標(biāo)準(zhǔn)化的方式為

式中：x為待標(biāo)準(zhǔn)化的ZTD 值；為ZTD 序列的平均值；xstd為ZTD 序列的標(biāo)準(zhǔn)差.標(biāo)準(zhǔn)化后的部分?jǐn)?shù)據(jù)如表2 所示.

表2 標(biāo)準(zhǔn)化前后的ZTD m

標(biāo)準(zhǔn)化處理后，進(jìn)行ZTD 預(yù)測(cè)，使用之前計(jì)算的參數(shù)對(duì)數(shù)據(jù)去標(biāo)準(zhǔn)化，可得到最后的ZTD 預(yù)測(cè)值.

1.3 精度評(píng)判標(biāo)準(zhǔn)

采用RMSE 和平均偏差(Bias)作為評(píng)價(jià)預(yù)測(cè)模型精度的指標(biāo).RMSE 用于衡量模型預(yù)測(cè)值和真值之間的偏差，Bias 可以很好的反映出模型是否存在系統(tǒng)誤差[8].以上精度指標(biāo)的計(jì)算公式如下：

式中：yi-為測(cè)試集上的真實(shí)值-預(yù)測(cè)值；N為預(yù)報(bào)樣本個(gè)數(shù).

2 建模思路與方法

2.1 BP 神經(jīng)網(wǎng)絡(luò)和LSTM 神經(jīng)網(wǎng)絡(luò)

BP 神經(jīng)網(wǎng)絡(luò)是一種按照誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[9].對(duì)訓(xùn)練集D={(x1,y1),(x2,y2),···,(xm,ym)}，其中xi∈Rd,yi∈Rl，即輸入的特征是d維的，輸出的值是一個(gè)一維的實(shí)值向量[10].對(duì)于一個(gè)具有d個(gè)輸入神經(jīng)元、l個(gè)輸出神經(jīng)元、q個(gè)隱含層神經(jīng)元的多層前饋網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于訓(xùn)練列(xk,yk)，假定神經(jīng)網(wǎng)絡(luò)的輸出為，即

式中：βj為輸出層第j個(gè)神經(jīng)元接收到的輸入；θj為輸出層第j個(gè)神經(jīng)元的閾值.則網(wǎng)絡(luò)在(xk,yk)上的均方誤差Ek為

BP 算法基于逐步梯度下降的方案，可在目標(biāo)負(fù)梯度的方向上調(diào)整參數(shù).對(duì)于式(3)中的誤差Ek，給定學(xué)習(xí)率 η，有

式中，ωhj為隱層第h個(gè)神經(jīng)元與輸出層第j個(gè)神經(jīng)元之間的連接權(quán).其更新公式為

式中，gi為輸出層神經(jīng)元的梯度項(xiàng).

BP 神經(jīng)網(wǎng)絡(luò)最突出的優(yōu)點(diǎn)是具有非常強(qiáng)的非線性擬合能力[11]，通過(guò)其強(qiáng)大的學(xué)習(xí)能力，根據(jù)每一次輸出和期望之間的誤差不斷調(diào)整連接權(quán)值，最終在訓(xùn)練樣本和輸出值之間構(gòu)建一種映射，從而實(shí)現(xiàn)數(shù)據(jù)預(yù)測(cè).

LSTM 神經(jīng)網(wǎng)絡(luò)是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體，LSTM 擴(kuò)展了其記憶能力[12].圖1 給出了LSTM內(nèi)部原理結(jié)構(gòu)示意圖，示意圖符號(hào)⊕代表兩個(gè)向量的加法運(yùn)算，?代表兩個(gè)向量的點(diǎn)乘運(yùn)算，σ 為sigmoid激活函數(shù)，tanh 為雙曲正切激活函數(shù).

圖1 LSTM 內(nèi)部原理圖

LSTM 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的核心是圍繞“記憶能力”開(kāi)展的，為了實(shí)現(xiàn)這種記憶功能，LSTM 引入了三個(gè)“門”的概念，即遺忘門ft、輸入門it和輸出門ot.遺忘門的主要功能是決定應(yīng)該保留或者拋棄哪些信息，輸入門用來(lái)更新單元狀態(tài)，輸出門可以控制下個(gè)狀態(tài)的隱藏信息的值.利用LSTM 能有效捕捉長(zhǎng)期時(shí)變信息的優(yōu)勢(shì)，以單個(gè)測(cè)站前期ZTD 時(shí)間序列為輸入，就能預(yù)測(cè)未來(lái)ZTD 數(shù)據(jù)，這一特點(diǎn)在無(wú)法得到氣象信息的環(huán)境下進(jìn)行ZTD 預(yù)測(cè)，優(yōu)勢(shì)更為明顯，可行性更強(qiáng)，穩(wěn)定性更高.

2.2 區(qū)域ZTD 建模

考慮到BP 神經(jīng)網(wǎng)絡(luò)算法在處理大量數(shù)據(jù)時(shí)可以挖掘出內(nèi)在的有效信息以及找尋其中包含的非線性關(guān)系，因此在區(qū)域ZTD 建模中選擇與ZTD 的變化有關(guān)的變量和對(duì)應(yīng)的ZTD，將歸一化后的值作為模型輸入，最終訓(xùn)練得出最佳網(wǎng)絡(luò).測(cè)試時(shí)，輸入為需要預(yù)測(cè)的某些時(shí)刻的歸一化后的WGS-84 坐標(biāo)系下的三維坐標(biāo)以及這些時(shí)刻的時(shí)間，輸出即為對(duì)應(yīng)的ZTD 預(yù)測(cè)值.有關(guān)研究表明，對(duì)于一個(gè)有隱含層的神經(jīng)網(wǎng)絡(luò)，只要隱含節(jié)點(diǎn)足夠多，就可以以任意精度逼近一個(gè)非線性函數(shù)[13].在利用BP 神經(jīng)網(wǎng)絡(luò)算法進(jìn)行區(qū)域ZTD 建模時(shí)，沒(méi)有確定的公式和原則能準(zhǔn)確選取最優(yōu)的隱含層節(jié)點(diǎn)數(shù)，但是可以通過(guò)一些經(jīng)驗(yàn)公式確定隱含層節(jié)點(diǎn)個(gè)數(shù)的大致范圍，本文采用以下經(jīng)驗(yàn)公式[14]：

式中：n為輸入層神經(jīng)元個(gè)數(shù)；m為輸出神經(jīng)元個(gè)數(shù)；a為取值在1～10 的整數(shù).本試驗(yàn)中，根據(jù)經(jīng)驗(yàn)公式易得l在3～13 取值.實(shí)際試驗(yàn)中，在基于經(jīng)驗(yàn)公式的基礎(chǔ)上，繼續(xù)采用“試錯(cuò)法”(trail-by-error)調(diào)整，即根據(jù)已知的測(cè)試數(shù)據(jù)進(jìn)行訓(xùn)練測(cè)試，觀察誤差和正確率的大小，不斷調(diào)整網(wǎng)絡(luò)訓(xùn)練過(guò)程中的相關(guān)參數(shù)，此處為隱含層節(jié)點(diǎn)數(shù)目.最終確定隱含層節(jié)點(diǎn)數(shù)目為12.

2.3 單站ZTD 建模

對(duì)于單站ZTD 建模，無(wú)需考慮建模測(cè)站的三維空間位置，只需要ZTD 時(shí)間序列數(shù)值.LSTM 神經(jīng)網(wǎng)絡(luò)具有良好的記憶能力，輸入?yún)?shù)為對(duì)HKWS 測(cè)站年積日121—133 共計(jì)13 天的標(biāo)準(zhǔn)化后的ZTD 序列值，對(duì)其進(jìn)行LSTM 單站ZTD 建模，輸出值為預(yù)測(cè)得到HKWS 測(cè)站第14 天24 h ZTD 值.同樣選取HKWS 測(cè)站年積日為134 的ZTD 為真值作為驗(yàn)證數(shù)據(jù).

2.4 區(qū)域/單站ZTD 組合模型

使用前13 天數(shù)據(jù)建模所用的參數(shù)訓(xùn)練BP 神經(jīng)網(wǎng)絡(luò)，對(duì)HKWS 測(cè)站第14 天24 h ZTD 進(jìn)行預(yù)測(cè)，同時(shí)采用HKWS 前13 天ZTD 序列值進(jìn)行LSTM 建模，預(yù)測(cè)得到HKWS 測(cè)站第14 天24 h ZTD 值，再使用兩種模型分別預(yù)測(cè)的HKWS 測(cè)站第14 天每小時(shí)的ZTD 加權(quán)值作為組合預(yù)測(cè)值.加權(quán)方式為

此加權(quán)方式逐步利用兩種模型預(yù)測(cè)得到的ZTD與實(shí)際值之間的RMSE，逐步更新權(quán)重，綜合考慮了兩種模型在預(yù)測(cè)過(guò)程中出現(xiàn)的新的預(yù)測(cè)值和之前階段的預(yù)測(cè)值.按照式(10)中加權(quán)方案，則組合模型在i歷元對(duì)應(yīng)的ZTD 為

圖2～3 給出了區(qū)域、單站以及ZTD 組合模型HKWS 測(cè)站ZTD 預(yù)測(cè)值和ZTD 真值與預(yù)測(cè)值差值的絕對(duì)值對(duì)比情況.可以看到，基于BP 神經(jīng)網(wǎng)絡(luò)算法的區(qū)域ZTD 模型難以反映ZTD 的波動(dòng)情況，但反映了ZTD 的變化趨勢(shì)，其預(yù)測(cè)結(jié)果更傾向于曲線型，基于LSTM 的單站ZTD 模型可以隨著實(shí)際ZTD 的波動(dòng)而起伏，但其與實(shí)際值仍有一些差異.而區(qū)域/單站ZTD 模型綜合了兩種模型的優(yōu)點(diǎn)，對(duì)ZTD 進(jìn)行了更為準(zhǔn)確的預(yù)測(cè).

圖2 3 種模型在HKWS 測(cè)站ZTD 預(yù)測(cè)結(jié)果

圖3 3 種模型在HKWS 測(cè)站ZTD 預(yù)測(cè)殘差對(duì)比

通過(guò)計(jì)算得到基于BP 神經(jīng)網(wǎng)絡(luò)算法的區(qū)域ZTD 模型和基于LSTM 神經(jīng)網(wǎng)絡(luò)的單站ZTD 模型在HKWS 測(cè)站對(duì)ZTD 預(yù)測(cè)的RMSE 和Bias 情況，如表3 所示.

表3 3 種模型預(yù)測(cè)ZTD 的RMSE 和Bias mm

由表3 可知，對(duì)于HKWS 測(cè)站，基于BP 神經(jīng)網(wǎng)絡(luò)算法的區(qū)域ZTD 預(yù)測(cè)模型和基于LSTM 神經(jīng)網(wǎng)絡(luò)的單站ZTD 模型的RMSE 分別是10.2 mm 和10.4 mm，而區(qū)域/單站ZTD 模型組合的RMSE 為8.5 mm，相較于區(qū)域ZTD 模型和單站ZTD 模型精度分別提高了17.2%和18.4%；區(qū)域和單站模型對(duì)ZTD 預(yù)測(cè)的Bias 分別為2.4 mm 和–2.6 mm，而組合模型的Bias為–0.07 mm，平均偏差得到顯著降低.

3 結(jié)論與展望

本文在區(qū)域ZTD 模型和單站ZTD 模型的基礎(chǔ)上建立了區(qū)域/單站ZTD 組合模型.實(shí)驗(yàn)結(jié)果表明其精度比單一的區(qū)域或單站ZTD 模型精度有所提高.考慮到對(duì)歷史RMSE 表現(xiàn)較優(yōu)的模型ZTD 預(yù)測(cè)值賦權(quán)較高，組合模型的ZTD 預(yù)測(cè)值不一定取到最優(yōu)值，利用相關(guān)優(yōu)化算法對(duì)組合模型中權(quán)重進(jìn)行自適應(yīng)調(diào)節(jié)，可進(jìn)一步提高模型的預(yù)測(cè)精度和穩(wěn)定性.