利用粒子群算法改進電離層TEC預報模型

楊淑芬，曾 聰，唐鈺涵

(中交第二公路勘察設計研究院有限公司，武漢 430056)

電離層對穿越其中的無線信號造成折射和延遲，對基于衛(wèi)星的導航定位、位置服務、遙感、遙測等造成嚴重影響。美國方面取消SA政策后，電離層延遲和多路徑效應被認為是影響GNSS定位精度的最大誤差源[1]。因此，研究電離層總電子含量(total electric content, TEC)的變化規(guī)律并對其進行預報，建立精確可靠的電離層延遲改正模型對實際應用具有十分重要的意義[2]，電離層TEC預報已經(jīng)成為電離層研究中的熱點。文獻[3]利用時間序列進行電離層TEC預報，預報的結(jié)果誤差在3 TECu以內(nèi)。文獻[4]提出經(jīng)驗正交函數(shù)(empirical orthogonal function, EOF)與LSTM(long short-term memory, LSTM)神經(jīng)網(wǎng)絡相結(jié)合的預報方法，實現(xiàn)了區(qū)域格網(wǎng)電離層預報并提高了預報精度。文獻[5]等通過最小二乘配置的方法進行長期預報和短期預報，預報精度為1～7 TECu。文獻[6]建立集合經(jīng)驗模態(tài)分解(ensemble empirical mode decomposition, EEMD)與Holt-Winters組合的預報模型，在地磁平靜期模型的相對精度最優(yōu)可達91.71%，地磁活躍期最優(yōu)可達86.83%。文獻[7]提出小波分解和自回歸移動平均(autoregressive moving average model, ARMA)相結(jié)合的短期電離層預報方法，預報精度較單一ARMA模型有顯著提高。文獻[8]重點分析了BP神經(jīng)網(wǎng)絡和ARMA兩種模型在中緯度地區(qū)的預報效果，結(jié)果表明不同季節(jié)、不同電離層活躍情況下兩種模型的預報性能各有優(yōu)勢。然而，上述預報模型大多存在參數(shù)選取困難、自適應性差、不同參數(shù)設置導致預報效果不穩(wěn)定、偏差較大等一系列問題，如何建立自動化程度高、效果穩(wěn)定的預報模型亟需進一步研究。

論文基于IGS中心提供的電離層產(chǎn)品，選取深度學習方法中最適合時間序列預報的長短期記憶神經(jīng)網(wǎng)絡利用粒子群算法(particle swarm optimization, PSO)自適應確定最優(yōu)解的特性改進優(yōu)化確定參數(shù)，得到最優(yōu)神經(jīng)網(wǎng)絡模型，分別對低、中、高不同緯度的電離層TEC序列進行預報分析，以建立一種簡潔高效、準確度高的PSO-LSTM神經(jīng)網(wǎng)絡模型。

1 模型原理

1.1 粒子群算法

Kennedy和Eberhart依據(jù)鳥群覓食行為啟發(fā)于1995年首次提出粒子群算法。算法首先通過隨機生成的方式在給定的解空間內(nèi)生成粒子的初始位置以及初始速度，再根據(jù)需求解的問題確定適應度函數(shù)并計算出初始的適應度值，并得到個體局部最優(yōu)解及全局最優(yōu)解，最后通過粒子速度和位置的更新公式不斷進行迭代得到解空間范圍內(nèi)的最優(yōu)解。粒子速度和位置的更新公式如下：

(1)

(2)

1.2 LSTM神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡模型對復雜的非線性關系進行擬合具有速度快、精度高的優(yōu)勢，而電離層TEC時間序列數(shù)據(jù)因受到多種因素的影響呈現(xiàn)出非線性的特征，因此利用神經(jīng)網(wǎng)絡模型可以提高電離層TEC預報的精確度。LSTM神經(jīng)網(wǎng)絡[9]最早由Hochreiter和Schmidhuber在1997年提出，其已被證明在時間序列預報中能更好模擬數(shù)據(jù)的長期依賴性，記憶數(shù)據(jù)間的長期關系。相比于循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network, RNN)，LSTM神經(jīng)網(wǎng)絡可以在更長的序列中取得較好的效果，能夠?qū)τ袃r值的信息進行長期記憶。LSTM神經(jīng)網(wǎng)絡的神經(jīng)元由遺忘門、輸入門、更新門和輸出門4個門限組成，它們的算式為：

ft=σ(Wf[ht-1,xt]+bf),

(3)

it=σ(Wi[ht-1,xt]+bi),

(4)

Ut=tanh(WU[ht-1,xt]+bU),

(5)

Ot=σ(WO[ht-1,xt]+bO).

(6)

式中:ft,it,Ut和Ot分別為4個門限；前一時刻輸入值為ht-1、當前時刻輸出值為ht、當前時刻變量輸入值為xt；W為權重矩陣，b表示偏置項；σ和tanh分別為sigmoid和雙曲正切激活函數(shù)。遺忘門判斷是否讀取ht-1，輸入門判斷xt是否用于更新上一時刻的神經(jīng)元狀態(tài)Ct，更新門判斷Ct-1是否更新為Ct，輸出門用于確定當前時刻的隱藏層輸出值，與神經(jīng)元狀態(tài)值共同確定最終的預報結(jié)果。

1.3 PSO-LSTM神經(jīng)網(wǎng)絡模型

與其它神經(jīng)網(wǎng)絡相似，LSTM神經(jīng)網(wǎng)絡模型的訓練參數(shù)如隱含層神經(jīng)元個數(shù)和初始學習率難以確定，參數(shù)的選擇對模型的精度和穩(wěn)定性有較大程度的影響。為降低這種影響，利用粒子群算法對最優(yōu)初始學習率進行參數(shù)尋優(yōu)，提高LSTM神經(jīng)網(wǎng)絡模型的精度和穩(wěn)定性，具體流程如下：

1)初始化粒子群參數(shù)，包括種群數(shù)量、最大迭代次數(shù)、學習因子、慣性因子、速度范圍以及位置范圍。

2)隨機生成一組初始學習率，將LSTM神經(jīng)網(wǎng)絡模型預報結(jié)果的均方根誤差作為適應度函數(shù)進行第一次迭代得到個體局部最優(yōu)解和全局最優(yōu)解，將其作為歷史最佳位置。

3)利用粒子速度和位置的更新公式對種群的速度以及位置進行更新，并計算對應的適應度值。

4)當適應度值達到設置的精度要求時或模型達到設置的最大迭代次數(shù)時停止迭代并輸出此時的全局最優(yōu)解，將其作為最終的初始學習率輸入到LSTM神經(jīng)網(wǎng)絡模型中進行模型訓練得到TEC預報值，進行相應的精度分析。

2 實驗分析及精度評定

2.1 實驗分析

論文選取IGS中心提供的電離層產(chǎn)品進行實驗，根據(jù)太陽活動選取2020年6月和12月的電離層TEC數(shù)據(jù)進行預報分析，對應年積日分別為152～181、335～364，兩個時段的太陽活動指數(shù)(F10.7)如圖1所示，從圖中可以看出6月F10.7指數(shù)均在75以下，太陽活動平靜，12月太陽活動明顯劇烈，F(xiàn)10.7指數(shù)均在80以上。對低緯度(10°N 100°E)、中緯度(40°N 100°E)和高緯度(70°N 100°E)的TEC進行建模預報，利用數(shù)據(jù)前25 d作為樣本序列，分別采用PSO-LSTM模型和ARMA模型、Holt-Winters模型、單一LSTM模型預報后5 d的TEC值。實驗模型設置粒子群慣性因子ω為0.8、學習因子c1、c2均設置為0.5、最大迭代次數(shù)為50。LSTM神經(jīng)網(wǎng)絡模型的輸入層數(shù)和輸出層數(shù)設置為1層、隱含層神經(jīng)元個數(shù)設置為200。將需要訓練的TEC序列輸入到神經(jīng)網(wǎng)絡中經(jīng)粒子群算法對初始學習率進行尋優(yōu)得到最優(yōu)初始學習率，提高LSTM神經(jīng)網(wǎng)絡的預報精度。將模型的預報值與IGS中心提供的TEC實際值進行對比分析，通過均方根誤差(RMSE)、相關系數(shù)(R)、平均殘差(Δ)和平均相對精度(P)4個指標來評定精度，算式如下：

圖1 2020年6月和12月F10.7指數(shù)

(7)

(8)

(9)

(10)

PSO-LSTM模型在兩個時段的預報結(jié)果如圖2和圖3所示，從中可以看出電離層TEC數(shù)值在低緯度地區(qū)晝夜變化較大且其變化趨勢較為規(guī)律，而在中、高緯度地區(qū)內(nèi)變化較為復雜，規(guī)律性不明顯。由于不同經(jīng)緯度地區(qū)接受太陽輻射不同，在同一經(jīng)度不同緯度上電離層電子含量之間的差值最大可達40 TECu，正常情形下，電離層TEC在不同緯度有著不同的變化規(guī)律，并會隨著緯度變低而逐漸增大，這種現(xiàn)象增加了模型精確預報電離層TEC的難度。

圖2 年積日177～181不同模型預報效果對比

通過圖2和圖3可以看出,PSO-LSTM模型在不同時段均表現(xiàn)良好，模型預報的結(jié)果與IGS中心發(fā)布的TEC值具有一致性，初步證明PSO-LSTM模型在預報電離層TEC上具有可靠性。同時，PSO-LSTM模型在低緯度地區(qū)預報精度較好，預報值與IGS中心提供的TEC值吻合程度最高。但是隨著緯度的上升，諸如像磁暴和太陽活動等因素會較大程度影響電離層TEC變化，使得中、高緯度地區(qū)的電離層TEC預報精確度降低，并且隨著預報天數(shù)的增加，預報精度也呈現(xiàn)逐步下降趨勢。

圖3 年積日360～364不同模型預報效果對比

電離層TEC變化與太陽活動密切相關，太陽活動劇烈時電離層受太陽輻射強度大，大氣中性分子發(fā)生電離的能量增多使電離層電子含量多；太陽活動平靜時地球接受太陽的輻射強度小，電離空氣分子的能量減少，使得電離層電子含量低。通常夏季7月份和冬季11月份的電離層電子含量相差至少3倍以上，但有時也會出現(xiàn)相反的情形，即冬季的電子含量比夏季的電子含量大，稱這種現(xiàn)象為“季節(jié)異?！盵10]。通過圖2和圖3可以看出，ARMA模型在預報時的精度相比較其他3個模型而言精度較低，而對于Holt-Winters模型、LSTM模型和PSO-LSTM模型預報精度的高低通過圖形無法直接判斷，需進一步計算確定。

2.2 精度評定

通過參考IGS提供的電離層TEC產(chǎn)品，對不同模型預報得到的電離層TEC預報值進行精度評定，分別計算得出不同模型在低、中、高緯度地區(qū)預報結(jié)果的均方根誤差、平均相對精度、相關系數(shù)和平均殘差如表1和表2所示。

表1 年積日177～181不同模型預報精度對比

從表中可以看出低緯度地區(qū)不同模型預報結(jié)果的相關系數(shù)高于中、高緯度地區(qū)，并且隨著緯度的增加TEC預報值的相關系數(shù)呈現(xiàn)下降趨勢。在均方根誤差方面，不同模型在中緯度地區(qū)均方根誤差最大，分別為2.29 TECu、1.72 TECu、1.91 TECu和1.76 TECu，高緯度地區(qū)均方根誤差最小，為0.74 TECu、0.64 TECu、0.85 TECu和0.58 TECu。在平均殘差方面不同模型在高緯度地區(qū)平均殘差最小，分別為0.59 TECu、0.49 TECu、0.68 TECu和0.45 TECu。并且通過結(jié)合表1和表2，可以看出在不同季節(jié)、不同模型的預報精度有所不同，由于季節(jié)會對電離層TEC產(chǎn)生一定的影響，太陽活動劇烈的季節(jié)高緯度地區(qū)預報效果最差，經(jīng)粒子群算法優(yōu)化的LSTM神經(jīng)網(wǎng)絡在預報效果上有一定程度的提高，PSO-LSTM模型在太陽活動劇烈的季節(jié)高緯度的預報均方根誤差相比LSTM模型降低了0.27 TECu，平均相對精度提高8.82%，相關系數(shù)提高0.16，平均殘差降低0.23 TECu，綜合4個指標PSO-LSTM模型預報效果最優(yōu)。

表2 年積日360～364不同模型預報精度對比

PSO-LSTM模型的預報殘差如圖4和圖5所示，圖4為太陽活動平靜期不同模型的預報殘差，圖5為太陽活動劇烈期不同模型的預報殘差。從中可以看出太陽活動平靜期不同模型的預報殘差均可保持在4 TECu 以內(nèi)，其中PSO-LSTM模型預報殘差最小，大多分布在2 TECu以內(nèi)，ARMA模型的預報殘差略大于Holt-Winters模型，LSTM神經(jīng)網(wǎng)絡的預報殘差最大，低緯度地區(qū)部分殘差超過5 TECu，是所有模型中預報殘差最大的。太陽活動劇烈期不同模型的殘差特點與平靜期基本相同，PSO-LSTM模型和Holt-Winters模型殘差較小，LSTM模型在某些時刻預報殘差明顯較大，在中緯度地區(qū)部分殘差超過4 TECu。

圖4 年積日177～181不同模型預報殘差對比

圖5 年積日360～364不同模型預報殘差對比

為詳細分析PSO-LSTM模型的預報效果，本次實驗分別統(tǒng)計不同模型在年積日177～181的預報值殘差分布情況如表3所示。從中可以看出PSO-LSTM模型在低、中、高緯度預報殘差小于1 TECu,分別占比65.8%、65.8%和91.7%；ARMA模型在低、中、高緯度預報殘差小于1 TECu，分別占比36.7%、43.3%和92.5%；Holt-Winters模型在低、中、高緯度預報殘差小于1 TECu，分別占比68.3%、60.8%和94.2%；LSTM模型在低、中、高緯度預報殘差小于1 TECu，分別占比57.5%、52.5%和93.3%。3個緯度4種模型小于1 TECu的預報殘差取平均后分別為74.4%、57.5%、74.4%和67.8%，其中PSO-LSTM模型預報殘差小于1 TECu的占比最高。

表3 年積日177～181不同模型殘差百分比統(tǒng)計

年積日360～364不同模型的預報值殘差分布情況如表4所示，PSO-LSTM神經(jīng)網(wǎng)絡模型在低、中、高緯度預報殘差小于1 TECu約占59.2%、40.8%和95%；ARMA模型在低、中、高緯度預報殘差小于1 TECu約占54.2%、30%和81.7%；Holt-Winters模型在低中高緯度預報殘差小于1 TECu約占47.5%、45%和92.5%；LSTM模型在低中高緯度預報殘差小于1 TECu約占52.5%、46.7%和74.2%；不同模型小于1 TECu的預報殘差取平均后分別占比65%、55.3%、61.7%和57.8%。同時通過圖4和圖5也可以看出ARMA模型預報殘差較大，LSTM模型和Holt-Winters模型次之，PSO-LSTM模型預報殘差基本穩(wěn)定在0左右，預報效果最為穩(wěn)定。

表4 年積日360～364不同模型殘差百分比統(tǒng)計

3 結(jié)束語

論文將粒子群算法引入電離層TEC預報模型，構(gòu)建了一種PSO-LSTM神經(jīng)網(wǎng)絡模型，解決了神經(jīng)網(wǎng)絡預報模型的參數(shù)選擇困難問題，將該模型與傳統(tǒng)預報模型進行短期預報并評價其預報性能。實驗結(jié)果表明，文中建立模型在實際的預報工作中具有自適應選取最優(yōu)參數(shù)，自動高效得到最佳訓練模型的優(yōu)點，預報結(jié)果顯示文中模型在太陽平靜期的預報誤差小于1 TECu；太陽活躍期預報誤差小于1.8 TECu。與傳統(tǒng)LSTM神經(jīng)網(wǎng)絡模型相比，文中模型在不同緯度的總體預報精度在太陽平靜期提高了3.98%；太陽活躍期提高了8.48%，與單一模型相比PSO-LSTM神經(jīng)網(wǎng)絡模型預報的精準度和穩(wěn)定性均有提升。將粒子群算法應用于電離層監(jiān)測預報領域為模型的優(yōu)化改進提供了一個新的思路。