基于深度學(xué)習(xí)的電離層參數(shù)預(yù)測(cè)研究

馮蘊(yùn)天，吳霞，許雄，張榮慶

（1.電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國家重點(diǎn)實(shí)驗(yàn)室，河南 洛陽 471003；2.同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 201804；3.同濟(jì)大學(xué)軟件學(xué)院，上海 201804）

1 引言

傳統(tǒng)的電磁態(tài)勢(shì)演化預(yù)測(cè)采用純電磁理論，時(shí)間復(fù)雜度高，并且不能實(shí)時(shí)獲得計(jì)算數(shù)據(jù)。相比之下，使用深度學(xué)習(xí)的電磁態(tài)勢(shì)演化預(yù)測(cè)可以大大降低計(jì)算的復(fù)雜度和時(shí)間，并且可以得到實(shí)時(shí)的仿真數(shù)據(jù)。因此，使用深度學(xué)習(xí)建立電磁態(tài)勢(shì)的預(yù)測(cè)模型具有重要意義[1]。

對(duì)電離層參數(shù)預(yù)測(cè)是電磁態(tài)勢(shì)預(yù)測(cè)的重要組成部分。電離層環(huán)境變化對(duì)電子信息系統(tǒng)有著重要影響，高頻通信中，準(zhǔn)確預(yù)測(cè)電離層參數(shù)在無線通信的多個(gè)領(lǐng)域，例如通信裝備、航天器、雷達(dá)及導(dǎo)航裝備的設(shè)計(jì)和運(yùn)行維護(hù)都具有重要意義[2]。

為了改進(jìn)傳統(tǒng)純電磁理論預(yù)測(cè)方式的缺點(diǎn)，考慮到電離層的非線性屬性，國內(nèi)外的學(xué)者提出了一些新的預(yù)測(cè)方法以期獲得更精確的電磁態(tài)勢(shì)預(yù)測(cè)模型[3-4]。已有研究證明了人工神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)非線性的短波電離層參數(shù)上的優(yōu)勢(shì)[5]。針對(duì)反向傳播（BP,back propagation）神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)存在的梯度消失等問題，長短期記憶（LSTM,long short-term memory）于1997 年被提出[6]。在逐點(diǎn)預(yù)測(cè)電離層參數(shù)的短期變化中，LSTM 網(wǎng)絡(luò)對(duì)于周期性最強(qiáng)的F2層臨界頻率f0F2的預(yù)測(cè)效果較好，因此本文以LSTM 為基礎(chǔ)，搭建神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)電離層參數(shù)的短期和日均值變化預(yù)測(cè)，并在LSTM 網(wǎng)絡(luò)結(jié)構(gòu)中加入經(jīng)驗(yàn)?zāi)B(tài)分解（EMD,empirical mode decomposition）算法。作為處理非線性信號(hào)的網(wǎng)絡(luò)優(yōu)化方法，EMD 算法已被廣泛應(yīng)用于深度學(xué)習(xí)中的數(shù)據(jù)處理[7]。文獻(xiàn)[8-9]分別在BP 神經(jīng)網(wǎng)絡(luò)和小波神經(jīng)網(wǎng)絡(luò)中使用EMD算法進(jìn)行地鐵沉降監(jiān)測(cè)和短期電力負(fù)荷預(yù)測(cè)，EMD算法的引入減小了預(yù)測(cè)均方誤差，證明了EMD 算法在提高神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度上的可行性。

本文提出的電離層參數(shù)預(yù)測(cè)算法使用逐點(diǎn)預(yù)測(cè)和序列預(yù)測(cè)2 種方法，在使用多維預(yù)測(cè)的基礎(chǔ)上，又使用了在處理非線性數(shù)據(jù)上表現(xiàn)良好的EMD 算法進(jìn)行優(yōu)化，預(yù)測(cè)電離層參數(shù)的每小時(shí)和每天的變化規(guī)律，并分析EMD 算法和多維預(yù)測(cè)在提升預(yù)測(cè)精度上的優(yōu)劣性。此外，本文將Adam 優(yōu)化器作為網(wǎng)絡(luò)的優(yōu)化器[10]，以期在不降低網(wǎng)絡(luò)對(duì)短期變化的預(yù)測(cè)精度的條件下，改善電離層參數(shù)的日均值預(yù)測(cè)，使整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以同時(shí)應(yīng)用于電離層數(shù)據(jù)的短期和日均值變化預(yù)測(cè)。

2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)

LSTM 網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）。循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)是把所有模塊鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)，以鏈?zhǔn)较噙B的重復(fù)模塊稱為循環(huán)單元。LSTM 網(wǎng)絡(luò)循環(huán)單元如圖1 所示。

LSTM 網(wǎng)絡(luò)內(nèi)部有4 個(gè)網(wǎng)絡(luò)層，其與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（包含3 個(gè)網(wǎng)絡(luò)層，即輸入層、隱藏層和輸出層）最大不同之處就是在循環(huán)單元中增加了一個(gè)細(xì)胞狀態(tài)ct。細(xì)胞狀態(tài)是LSTM 網(wǎng)絡(luò)的核心，從圖1 可以看出，LSTM 網(wǎng)絡(luò)通過3 個(gè)門控制細(xì)胞狀態(tài)，分別是輸入門、輸出門、遺忘門。循環(huán)單元的輸出ht不只取決于當(dāng)前的輸入和上一步的輸出，還取決于細(xì)胞上一步的狀態(tài)。3 個(gè)門中最重要的是遺忘門，其作用是當(dāng)數(shù)據(jù)xt輸入網(wǎng)絡(luò)循環(huán)單元時(shí)決定是否丟棄上一步的循環(huán)單元狀態(tài)ht?1。遺忘門狀態(tài)ft為

圖1 LSTM 網(wǎng)絡(luò)循環(huán)單元

其中，σ是sigmoid 函數(shù)，bf是遺忘門偏置項(xiàng)，Ct?1代表細(xì)胞的上一步狀態(tài)；Wxf、Whf、Wcf分別是遺忘門狀態(tài)下xt,ht?1,ct?1對(duì)應(yīng)的權(quán)重矩陣（后續(xù)計(jì)算式中W的含義同理），矩陣中元素的數(shù)值為0～1，0表示將數(shù)據(jù)全部丟棄，1 表示全部保留。通過權(quán)重矩陣確定是否保留上一步的細(xì)胞狀態(tài)，以及上一步循環(huán)單元的輸出狀態(tài)與輸入數(shù)據(jù)xt。確定需要丟棄的數(shù)據(jù)后，將輸入數(shù)據(jù)與隱藏層狀態(tài)通過輸入門得到輸入門狀態(tài)it。輸入門狀態(tài)it為

其中，bi是輸入門偏置項(xiàng)，通過式(1)和式(2)得到輸入門狀態(tài)和遺忘門狀態(tài)后，就可以通過遺忘門狀態(tài)丟棄一部分舊的細(xì)胞狀態(tài)，并通過輸入門更新得到新的細(xì)胞狀態(tài)。新的細(xì)胞狀態(tài)ct為

其中，bc是細(xì)胞狀態(tài)偏置項(xiàng)，*是卷積符號(hào)。通過式(2)和式(3)得到輸入門狀態(tài)和更新細(xì)胞狀態(tài)后，根據(jù)輸入數(shù)據(jù)以及隱藏層上一步狀態(tài)就可以得到新的循環(huán)單元輸出狀態(tài)ht。將細(xì)胞狀態(tài)ct與輸入數(shù)據(jù)xt通過輸出門得到輸出門的狀態(tài)。輸出門狀態(tài)ot為

其中，ot的作用是確定循環(huán)單元的輸出狀態(tài)。將細(xì)胞狀態(tài)ct經(jīng)過一個(gè)tanh 層得到一個(gè)?1～1 的量值，該量值與輸出門相乘就可以得到該循環(huán)單元的最終輸出ht，如式(5)所示。

3 電離層參數(shù)逐點(diǎn)預(yù)測(cè)

3.1 數(shù)據(jù)預(yù)處理與模型訓(xùn)練

本文用于預(yù)測(cè)電離層短期變化的數(shù)據(jù)來自漠河電離層觀測(cè)站2014 年的觀測(cè)數(shù)據(jù)。漠河電離層觀測(cè)站的數(shù)據(jù)透明度高，并且觀測(cè)準(zhǔn)確度高，是合適的測(cè)試數(shù)據(jù)。這些觀測(cè)數(shù)據(jù)包括F2層臨界頻率f0F2、B1參數(shù)、F2層最低虛高h(yuǎn)pf、F2層3 000 km傳播因子M(3000)F2改變、F2層最小反射頻率fmin等。從中選取質(zhì)量較高的連續(xù)1 400 h 的數(shù)據(jù)作為樣本，將得到的數(shù)據(jù)樣本分為訓(xùn)練集和測(cè)試集。取樣本中86%的數(shù)據(jù)（共1 200 h）作為訓(xùn)練集，剩下200 h 的數(shù)據(jù)作為測(cè)試集。為了使網(wǎng)絡(luò)更快收斂，首先將訓(xùn)練集數(shù)據(jù)采用Minmaxscaler 方法進(jìn)行歸一化預(yù)處理；然后用預(yù)處理后的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，用訓(xùn)練好的網(wǎng)絡(luò)得到預(yù)測(cè)結(jié)果，通過對(duì)比測(cè)試集中的真實(shí)數(shù)據(jù)和預(yù)測(cè)結(jié)果分析預(yù)測(cè)效果。

訓(xùn)練網(wǎng)絡(luò)時(shí)，將24 h（即一天）的數(shù)據(jù)作為一個(gè)序列輸入，使用24 h 的數(shù)據(jù)預(yù)測(cè)后1 h 的數(shù)據(jù)。經(jīng)過多次實(shí)驗(yàn)調(diào)整，將網(wǎng)絡(luò)的batchsize 設(shè)置為16，一次訓(xùn)練16 個(gè)數(shù)據(jù)，網(wǎng)絡(luò)一個(gè)周期迭代75 次，共訓(xùn)練3 個(gè)周期，即迭代225 次。預(yù)測(cè)采用逐點(diǎn)預(yù)測(cè)，即每次只預(yù)測(cè)單一的點(diǎn)，LSTM 網(wǎng)絡(luò)中的序列本身是一個(gè)滑動(dòng)窗口，窗口大小與序列長度相同，預(yù)測(cè)完一個(gè)點(diǎn)后，窗口移動(dòng)到下一個(gè)測(cè)試數(shù)據(jù)，這樣每次預(yù)測(cè)時(shí)都可使用完整的測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)。例如，預(yù)測(cè)漠河電離層F2層臨界頻率時(shí)，如果要預(yù)測(cè)某時(shí)刻的數(shù)據(jù)，則將前面24 h 的數(shù)據(jù)輸入訓(xùn)練好的LSTM 網(wǎng)絡(luò)，依次類推，不斷使用測(cè)試集的數(shù)據(jù)得到每一小時(shí)的預(yù)測(cè)結(jié)果。使用逐點(diǎn)預(yù)測(cè)方法預(yù)測(cè)電離層的不同參數(shù)，預(yù)測(cè)評(píng)價(jià)標(biāo)準(zhǔn)采用真實(shí)數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)之間的均方誤差（MSE,mean-square error）。

其中，yi表示真實(shí)數(shù)據(jù)，y0表示預(yù)測(cè)數(shù)據(jù)。

在LSTM 網(wǎng)絡(luò)的基礎(chǔ)上使用優(yōu)化器Adam。為了防止訓(xùn)練過程中出現(xiàn)過擬合，本文在第一層和第三層神經(jīng)網(wǎng)絡(luò)后面加入dropout 層，以0.2 的概率隨機(jī)斷開輸入的LSTM 神經(jīng)元，減少了神經(jīng)元之間的共同適應(yīng)性和相互依賴性，確保了模型在丟失個(gè)體的情況下依然能保持良好的穩(wěn)健性，避免發(fā)生過擬合。

3.2 EMD 算法與多維預(yù)測(cè)算例分析

本文在搭建的LSTM 網(wǎng)絡(luò)結(jié)構(gòu)中加入EMD 算法，使用Python 的經(jīng)驗(yàn)?zāi)B(tài)分解工具箱Pyhht 將預(yù)處理后的數(shù)據(jù)分解為多個(gè)本征模函數(shù)。將電離層數(shù)據(jù)分解為9 個(gè)本征模函數(shù)，每個(gè)本征模函數(shù)訓(xùn)練4 個(gè)周期，一個(gè)周期迭代75 次，每個(gè)本征模函數(shù)共迭代300 次，將EMD 算法得到的預(yù)測(cè)結(jié)果與多維預(yù)測(cè)（prediction2）結(jié)果對(duì)比，如圖2 所示。通過比較預(yù)測(cè)數(shù)據(jù)波形與真實(shí)數(shù)據(jù)波形的誤差以及均方誤差可以看出，基于EMD 算法的預(yù)測(cè)數(shù)據(jù)在75 h 后偏離真實(shí)數(shù)據(jù)。

圖2 EMD 算法和多維預(yù)測(cè)的f0F2預(yù)測(cè)結(jié)果對(duì)比

基于EMD 算法的電離層傳輸因子M(3 000)F2和最低虛高h(yuǎn)pf 與多維預(yù)測(cè)結(jié)果對(duì)比分別如圖3 和圖4所示。顯然，基于EMD 算法的M(3 000)F2預(yù)測(cè)波形在幅度上比多維預(yù)測(cè)更接近真實(shí)數(shù)據(jù)。由于M(3 000)F2序列穩(wěn)定性較差，使用LSTM 預(yù)測(cè)或者多維預(yù)測(cè)得到的預(yù)測(cè)結(jié)果較差，通過EMD 可以將數(shù)據(jù)進(jìn)行平穩(wěn)化處理，使預(yù)測(cè)效果大大提高。與fmin參數(shù)預(yù)測(cè)結(jié)果相似，基于EMD 算法的hpf 在60 h 后的預(yù)測(cè)數(shù)據(jù)比多維預(yù)測(cè)更接近真實(shí)數(shù)據(jù)，總體預(yù)測(cè)效果也更好。

圖3 EMD 算法和多維預(yù)測(cè)的F2層M(3 000)F2預(yù)測(cè)結(jié)果對(duì)比

根據(jù)實(shí)驗(yàn)結(jié)果可以看出，EMD 算法可以作為短期變化預(yù)測(cè)的優(yōu)化方法，并且對(duì)于非平穩(wěn)時(shí)間序列的優(yōu)化效果要好于多維預(yù)測(cè)。但對(duì)于本身具有周期性的數(shù)據(jù)，EMD 算法的作用有限。不同預(yù)測(cè)方法的MSE 比較如表1 所示。與直接使用LSTM 網(wǎng)絡(luò)預(yù)測(cè)的均方誤差相比，基于EMD 算法的fmin預(yù)測(cè)比多維預(yù)測(cè)減少了23%；M(3 000)F2的預(yù)測(cè)均方誤差比多維預(yù)測(cè)減少了18.8%；hpf 的預(yù)測(cè)均方誤差比多維預(yù)測(cè)減少了11.8%。

圖4 EMD 算法和多維預(yù)測(cè)的hpf 短期變化預(yù)測(cè)結(jié)果對(duì)比

表1 預(yù)測(cè)算法的MSE 比較

4 電離層參數(shù)時(shí)間序列預(yù)測(cè)

LSTM 網(wǎng)絡(luò)在電離層的短期變化和日均值變化預(yù)測(cè)中都能較好地匹配真實(shí)數(shù)據(jù)。但這種算法存在一定的局限性，因?yàn)槊恳粋€(gè)預(yù)測(cè)點(diǎn)在預(yù)測(cè)前都能得到真實(shí)數(shù)據(jù)，即使預(yù)測(cè)出現(xiàn)錯(cuò)誤，算法也會(huì)直接使用真實(shí)數(shù)據(jù)來預(yù)測(cè)下一個(gè)點(diǎn)從而忽略這個(gè)錯(cuò)誤。但在實(shí)際研究中有時(shí)需要直接預(yù)測(cè)一段時(shí)間內(nèi)的電離層參數(shù)變化，這是逐點(diǎn)預(yù)測(cè)無法做到的。為此，本節(jié)首先采用全序列預(yù)測(cè)，通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)一次性預(yù)測(cè)電離層參數(shù)在一段時(shí)間內(nèi)的變化規(guī)律。全序列預(yù)測(cè)與逐點(diǎn)預(yù)測(cè)的不同之處在于，預(yù)測(cè)時(shí)采用上一時(shí)刻的預(yù)測(cè)數(shù)據(jù)而不是真實(shí)數(shù)據(jù)。通過預(yù)測(cè)24 個(gè)數(shù)據(jù)點(diǎn)后，使用神經(jīng)網(wǎng)絡(luò)前24h 的電離層數(shù)據(jù)預(yù)測(cè)下一時(shí)刻的數(shù)據(jù)，可以一次性預(yù)測(cè)電離層參數(shù)在未來多個(gè)小時(shí)內(nèi)的變化趨勢(shì)。電離層參數(shù)f0F2的全序列預(yù)測(cè)結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果證明，電離層參數(shù)的短期變化的序列預(yù)測(cè)可以和逐點(diǎn)預(yù)測(cè)一樣通過EMD 算法優(yōu)化預(yù)測(cè)精度。

圖5 f0F2短期變化全序列預(yù)測(cè)結(jié)果

5 結(jié)束語

本文以LSTM 為基礎(chǔ)，搭建神經(jīng)網(wǎng)絡(luò)模型以實(shí)現(xiàn)電離層參數(shù)的短期和日均值變化預(yù)測(cè)。通過預(yù)測(cè)結(jié)果分析了LSTM網(wǎng)絡(luò)對(duì)不同類型的電離層參數(shù)的預(yù)測(cè)效果，并將這些結(jié)果作為對(duì)照組，分別使用多維預(yù)測(cè)和EMD 算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，驗(yàn)證多維預(yù)測(cè)和EMD 算法在提高預(yù)測(cè)精度上的可行性。未來工作可以嘗試在新的LSTM 網(wǎng)絡(luò)結(jié)構(gòu)變式，例如門控循環(huán)單元（GRU,gated recurrent unit）和雙向LSTM（Bi-LSTM）網(wǎng)絡(luò)使用多維預(yù)測(cè)和EMD 算法，降低網(wǎng)絡(luò)的計(jì)算成本，并且不再局限于預(yù)測(cè)電離層數(shù)據(jù)，還包括預(yù)測(cè)經(jīng)緯度、地磁指數(shù)、場(chǎng)強(qiáng)等電磁態(tài)勢(shì)參數(shù)，進(jìn)一步提高預(yù)測(cè)精度。