深度學(xué)習(xí)LSTM模型的電離層總電子含量預(yù)報

吉長東，王 強，王貴朋，劉亞南

深度學(xué)習(xí)LSTM模型的電離層總電子含量預(yù)報

吉長東1，王 強1，王貴朋2，劉亞南1

（1. 遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院，遼寧 阜新 123000；2. 日照市城鄉(xiāng)建設(shè)勘察測繪院有限公司，山東 日照 276800）

針對TEC時間序列高噪聲、非線性和非平穩(wěn)的動態(tài)序列的特性，基于分解-預(yù)測-重構(gòu)的思想，運用總體經(jīng)驗?zāi)B(tài)分解和深度學(xué)習(xí)長短期記憶神經(jīng)網(wǎng)絡(luò)，構(gòu)建了EEMD-LSTM預(yù)測模型。同時，以測試集上預(yù)測結(jié)果的均方根誤差最小為目標(biāo)，運用多層網(wǎng)格搜索算法對EMD-LSTM預(yù)測模型進行參數(shù)優(yōu)選。以IGS中心2015年全年1 h時間尺度的TEC格網(wǎng)數(shù)據(jù)進行實驗分析，結(jié)果表明，EEMD-LSTM組合模型的預(yù)報結(jié)果能夠很好的反應(yīng)電離層TEC的變化特性，在低、中、高緯度地區(qū)平均預(yù)報殘差分別為1.37、0.82和0.96個TECu，預(yù)測平均相對精度分別為92.8 %、91.9 %和87.8 %。

長短期記憶神經(jīng)網(wǎng)絡(luò)；遞歸神經(jīng)網(wǎng)絡(luò)；總體經(jīng)驗?zāi)B(tài)分解；電離層總電子含量；時間序列

0 引言

預(yù)報電離層總電子含量（total electric contents, TEC）對研究電離層隨時間的變化以及以全球衛(wèi)星導(dǎo)航系統(tǒng)（global navigation satellite system, GNSS）作為主要技術(shù)手段的各類工程活動和科學(xué)研究都有著重要的意義[1-2]。目前應(yīng)用國際GNSS服務(wù)組織（International GNSS Service, IGS）提供的格網(wǎng)數(shù)據(jù)建立高精度的TEC預(yù)報模型已經(jīng)從傳統(tǒng)的統(tǒng)計學(xué)和計量經(jīng)濟學(xué)模型[3-4]逐漸發(fā)展為學(xué)習(xí)能力更為優(yōu)秀以及在處理非線性與時變性問題上更有優(yōu)勢的神經(jīng)網(wǎng)絡(luò)模型[5-8]。然而傳統(tǒng)的前饋式神經(jīng)網(wǎng)絡(luò)預(yù)測模型的靜態(tài)特性無法很好的表示TEC時間序列的動態(tài)變化情況，對電離層TEC值的預(yù)報精度很難進一步提升。遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network, RNN）是一種具有記憶功能的深度學(xué)習(xí)模型[9]，能夠記憶以往時間序列的信息并加入到當(dāng)前的輸出計算中，被廣泛應(yīng)用于序列化數(shù)據(jù)分析和預(yù)測中。長短期記憶（long-short term memory, LSTM）模型[11]改進了RNN在反向傳播過程中計算參數(shù)更新值時會出現(xiàn)梯度爆炸梯度消失等缺點，可以學(xué)習(xí)長期依賴時序信息。文獻[11]首先利用經(jīng)驗?zāi)B(tài)分解（empirical mode decomposition, EMD）的方法對電離層TEC時間序列進行分解變換，再對分解后的各個序列分別建立模型進行預(yù)報，有效的提高了TEC值預(yù)報精度[11]，而采用EMD對TEC時間序列進行分解變換常常會導(dǎo)致模態(tài)混疊的現(xiàn)象出現(xiàn)。

針對于以上問題，本文采用總體經(jīng)驗?zāi)B(tài)分解（ensemble empirical mode decomposition, EEMD）[13]與長短期記憶神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的方法對電離層TEC值進行短期預(yù)報，并通過網(wǎng)格搜索對組合模型的進行超參數(shù)優(yōu)選。最后，利用平均絕對誤差（mean absolute difference, MAD）、平均相對精度（relative accuracy, RA）和均方根誤差（root mean square error, RMSE）3個性能指標(biāo)來評估模型的有效性。

1 算法原理

1.1 遞歸神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)是一種可以有效提取、利用和處理時間序列的高維非線性動力學(xué)系統(tǒng)。圖1為一個標(biāo)準(zhǔn)的RNN模型及其內(nèi)部結(jié)構(gòu)示意圖，可以看出遞歸神經(jīng)網(wǎng)絡(luò)是一個擁有重復(fù)單元的循環(huán)式模型。

圖1 RNN模型及循環(huán)層內(nèi)部結(jié)構(gòu)圖

LSTM模型神經(jīng)元結(jié)構(gòu)如圖2所示。

圖2 LSTM模型神經(jīng)元結(jié)構(gòu)示意圖

1.2 總體經(jīng)驗?zāi)B(tài)分解（EEMD）

經(jīng)驗?zāi)B(tài)分解實質(zhì)是對原始信號中不同尺度的信號和趨勢進行篩分，得到有限個特征單一的不同頻率的本征模態(tài)分量（intrinsic mode function, IMF）和一個趨勢序列。各個IMF分量可以看作是影響原始信號的不同因數(shù)，趨勢項則反映了原始信號的整體變化趨勢。EMD在分解TEC時序信號時由于TEC時序中一些高頻信號與噪聲頻率接近，導(dǎo)致模態(tài)混疊現(xiàn)象的出現(xiàn)?？傮w經(jīng)驗?zāi)B(tài)分解（EEMD）在原始TEC時序信號中加入高斯白噪聲再進行多次EMD分解，并將多次分解得到的IMF總體平均得到最終的IMF分量，有效的避免了模態(tài)混疊問題。由于高斯白噪聲具有不相關(guān)隨機序列零均值特性，整體平均后可以將高斯白噪聲剔除。高斯白噪聲振幅值（所加白噪聲占原始信號幅值標(biāo)準(zhǔn)差的比例）和重復(fù)進行EMD分解的次數(shù)是EEMD分解的兩個重要參數(shù)，通過不斷實驗進行調(diào)整。

1.3 網(wǎng)格搜索與k折交叉驗證

1.4 研究方法

LSTM模型的算法流程圖如圖3所示，主要包括3個部分：原始TEC時序數(shù)據(jù)預(yù)處理、模型的超參數(shù)優(yōu)化和模型的建立和預(yù)測。

圖3 LSTM模型的算法流程圖

具體計算過程如下：

1）EEMD分解：選區(qū)高斯白噪聲0.2倍標(biāo)準(zhǔn)差，加入到TEC時間序列中，對復(fù)合序列進行100次EMD分解得到一系列不同頻率且特征單一的IMF分量。

2）模型訓(xùn)練：對得到的各分量和趨勢項進行標(biāo)準(zhǔn)化建立LSTM模型,激活函數(shù)為線性函數(shù)，優(yōu)化器為Adma算法，目標(biāo)函數(shù)為均方差。

4）模型預(yù)測：利用訓(xùn)練好的模型采用迭代的方法進行預(yù)測。

5）精度評定：將預(yù)測結(jié)果與IGS提供的觀測數(shù)據(jù)進行比較，采用MAD、RMSE和RA 3個性能指標(biāo)來評估模型的有效性，當(dāng)MAD、RMSE值越小RA值越大時，表明預(yù)測值與真實值擬合程度更好，倆者的誤差越小，其相應(yīng)的定義為

2 實驗分析

分別以IGS提供的2015年時間間隔為1 h的全年的高緯度（67.5°N, 65°E）、（67.5°N, 125°E）；中緯度（45°N, 65°E）、（45°N, 125°E）和低緯度（22.5°N, 65°E）、（22.5°N, 125°E）數(shù)據(jù)建立電離層樣本序列。將所選數(shù)據(jù)分為3個部分，以65 %的數(shù)據(jù)作為訓(xùn)練集訓(xùn)練模型，以30 %的數(shù)據(jù)作為驗證集來輔助模型的構(gòu)建，以5 %的數(shù)據(jù)作為測試數(shù)據(jù)用于評估模型的精度。

2.1 超參數(shù)優(yōu)選

圖4 LSTM模型3參數(shù)多層網(wǎng)格搜索結(jié)果

表1 LSTM模型的前五組最優(yōu)參數(shù)組合以及預(yù)測精度

2.2 不同模型的精度分析

為了驗證LSTM模型的預(yù)報精度，采用BPNN模型和RNN模型進行對比分析。以預(yù)測擬合電離層TEC值圖形與計算誤差的形式來實證其差異。圖5為RNN、LSTM、BPNN 3種模型的預(yù)報結(jié)果對比圖。其中橫坐標(biāo)為預(yù)測歷元的個數(shù)，1 h為一個歷元；縱坐標(biāo)表示TEC值（以TECu個數(shù)計）。由圖5可以看出相較于其他模型LSTM模型的預(yù)測結(jié)果明顯優(yōu)于RNN模型和BPNN模型，能夠更好的擬合IGS中心提供的TEC值，誤差更小。

計算不同模型在不同緯度預(yù)測結(jié)果的性能指標(biāo)得到表2，可以看出LSTM模型的MAD和RMSE的值是上述模型中最小的，即LSTM模型的預(yù)測誤差比BPNN、RNN模型都小，預(yù)測精度更高。同時LSTM模型的預(yù)報精度在不同緯度地區(qū)的略有差異，低緯度和高緯度地區(qū)預(yù)報結(jié)果的平均絕對百分比誤差明顯高于高緯度地區(qū)，這是由于在不同緯度地區(qū)TEC值含量有很大不同所導(dǎo)致的。

表2 不同模型預(yù)報結(jié)果的MAD、RMSE和RA統(tǒng)計表

為了驗證EEMD算法對LSTM模型的預(yù)測性能的改進效果，分別采用單一的LSTM模型和EEMD-LSTM組合模型對2015年不同經(jīng)緯度數(shù)據(jù)進行24 h預(yù)報，以預(yù)測擬合電離層TEC值圖形與計算誤差的形式來實證其差異。圖6為EEMD-LSTM模型和單一的LSTM模型在不同經(jīng)緯度地區(qū)的預(yù)報結(jié)果對比圖。其中橫坐標(biāo)為預(yù)測歷元的個數(shù)，1 h為1個歷元；縱坐標(biāo)表示TEC值，單位為TECu的個數(shù)?？梢钥闯鱿噍^于單一模型EMD-LSTM模型的預(yù)報結(jié)果能更好的反應(yīng)電離層TEC值的變化情況，預(yù)測性能更好，且預(yù)報結(jié)果與IGS中心提供的TEC值更為接近，誤差更小。

計算單一LSTM模型和EEMD-LSTM組合模型在不同經(jīng)緯度預(yù)測結(jié)果的性能指標(biāo)得到表3和表4，可以看出在同一位置組合模型的預(yù)測精度普遍高于單一模型。在經(jīng)度相同時預(yù)測的相對精度大致隨著緯度的增加而降低，均方根誤差和平均絕對誤差則在高緯度地區(qū)更優(yōu)；緯度相同時不同經(jīng)度之間的預(yù)報結(jié)果相差不大。

圖6 LSTM/EEMD-LSTM模型預(yù)報結(jié)果對比圖

表3 LSTM/EEMD-LSTM模型預(yù)報結(jié)果的MAD、RMSE和RA統(tǒng)計表（65°E）

表4 LSTM/EEMD-LSTM模型預(yù)報結(jié)果的MAD、RMSE和RA統(tǒng)計表（125°E）

3 結(jié)束語

本文首先對比了單一LSTM模型和EEMD-LSTM模型的在相同環(huán)境下的預(yù)報性能，驗證了組合模型的優(yōu)越性，并以測試集上預(yù)測結(jié)果的均方根誤差最小為目標(biāo)，運用多層網(wǎng)格搜索算法對EMD-LSTM預(yù)測模型進行參數(shù)優(yōu)選，經(jīng)過大量實驗得到如下結(jié)論：

1）與一般BP神經(jīng)網(wǎng)絡(luò)相比，遞歸神經(jīng)網(wǎng)絡(luò)的擬合和預(yù)測性能更優(yōu)。LSTM作為遞歸神經(jīng)網(wǎng)絡(luò)的一種變體，可以充分利用長距離的TEC時序信息來實現(xiàn)更好的預(yù)測效果。

2）相較于單一LSTM模型EEMD-LSTM模型預(yù)報效果和精度都有很好的提升，與實際數(shù)據(jù)吻合更好；在低、中、高緯度地區(qū)預(yù)測平均相對精度分別提高了2.8 %、5.8 %和6.6 %。

[1] 張小紅, 任曉東, 吳風(fēng)波, 等. 震前電離層TEC異常探測新方法[J]. 地球物理學(xué)報, 2013, 56(2): 441-449.

[2] 曹華東, 郭金運, 李旺, 等. 2015年4月20日花蓮M_W6. 4級地震震前電離層TEC異常[J]. 地球物理學(xué)進展, 2016, 31(5): 1889-1894.

[3] 張小紅, 任曉東, 吳風(fēng)波, 等. 自回歸移動平均模型的電離層總電子含量短期預(yù)報[J]. 測繪學(xué)報, 2014, 43(2): 118-124.

[4] 謝劭峰, 陳軍, 黃良珂, 等. 基于Holt-Winters的電離層總電子含量預(yù)報[J]. 大地測量與地球動力學(xué), 2017, 37(1): 72-76.

[5] 何春梅, 模糊神經(jīng)網(wǎng)絡(luò)的性能及其學(xué)習(xí)算法研究[D]. 南京: 南京理工大學(xué), 2010, 19-30.

[6] 袁景凌, 鐘珞, 李小燕. 灰色神經(jīng)網(wǎng)絡(luò)的研究及發(fā)展[J]. 武漢理工大學(xué)學(xué)報, 2009, 31(3): 91-93.

[7] 李淑慧, 彭軍還, 徐偉超, 等. 利用神經(jīng)網(wǎng)絡(luò)預(yù)報短期電離層TEC變化[J]. 測繪科學(xué), 2013, 38(1): 8-9, 12.

[8] 王建敏, 黃佳鵬, 祝會忠, 等. 電離層總電子數(shù)預(yù)報方法研究[J]. 測繪科學(xué), 2016, 41(12): 47-52.

[9] 張承釗. 一種金融市場預(yù)測的深度學(xué)習(xí)模型: FEPA模型[D]. 成都: 電子科技大學(xué), 2016.

[10] 王鑫, 吳際, 劉超, 等. 基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時間序列預(yù)測[J]. 北京航空航天大學(xué)學(xué)報, 2018, 44(4): 772-784.

[11] 湯俊, 姚宜斌, 陳鵬, 等. 利用EMD方法改進電離層TEC預(yù)報模型[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版), 2013, 38(4): 408-411, 444.

[12] 袁天嬌, 陳艷紅, 劉四清, 等. 基于深度學(xué)習(xí)遞歸神經(jīng)網(wǎng)絡(luò)的電離層總電子含量經(jīng)驗預(yù)報模型[J]. 空間科學(xué)學(xué)報, 2018, 38(1): 48-57.

[13] WU Z H, HUANG N E. Empirical model decomposition: a noise-assisted data method[J]. Advances in Adaptive Data Analysis, 2009, 1 (1): 1-14.

[14] NAKAMURA M I, MARUYAMA T, SHIDAMA Y. Using a neural network to make operational forecasts of ionospheric variations and storms at Kokubunji, Japan[J]. Earth Planets & Space, 2007, 59(12): 1231-1239.

[15] LI S, LI L, PENG J. Variability of ionospheric TEC and the performance of the IRI-2012 model at the BJFS station, China[J]. Acta Geophysical, 2016, 64(5): 1970-1987.

TEC prediction of ionosphere based on deep learning LSTM model

JI Changdong1, WANG Qiang1, WANG Guipeng2, LIU Yanan1

（1.School of Geomatics, Liaoning Technical University, Fuxin, Liaoning 123000, China; 2. Rizhao Geotechnical Investigation and Surveying Institute of Urban and Rural Construction Co., Ltd, Rizhao, Shandong 276800, China）

The total electron content (TEC) is a representative parameter. For its non-linear and non-stationary characteristics taking the TEC data which varies from high latitude to low latitude in both quiet and active period provided by the IGS as sample data. A new combined forecasting model is built in this paper by using ensemble empirical mode decomposition (EEMD) and Long-Short Term Memory Model (LSTM). Furthermore, a multilayer grid search algorithm is proposed to optimize the parameters of EMD-LSTM prediction model. Results from numerical experiments show that the predicted results are highly fitted to the actual observation data. The average prediction residuals in different latitudes are 1.37TECu, 0.82TECu and 0.96TECu, respectively. The predicted average relative accuracy is 92.8 %, 91.9 % and 87.8 %, respectively.

LSTM; RNN; EEMD; TEC; Time series

TN967.1

A

2095-4999(2019)03-0076-06

2018-10-22

吉長東（1970—），男，遼寧錦州人，博士，教授，研究方向為衛(wèi)星導(dǎo)航與定位。

王強（1993—），男，內(nèi)蒙古烏蘭察布人，碩士生，研究方向為衛(wèi)星導(dǎo)航與定位。

吉長東，王強，王貴朋，等.深度學(xué)習(xí)LSTM模型的電離層總電子含量預(yù)報[J].導(dǎo)航定位學(xué)報,2019,7(3):76-81.（JI Changdong, WANG Qiang, WANG Guipeng, et al.TEC prediction of ionosphere based on deep learning LSTM model[J].Journal of Navigation and Positioning,2019,7(3):76-81.）

10.16547/j.cnki.10-1096.20190313.