基于復(fù)合2D-LSTM網(wǎng)絡(luò)的頻譜預(yù)測研究

孔 青，張建照，柳永祥

（國防科技大學(xué)第六十三研究所，江蘇 南京 210000）

0 引 言

隨著物聯(lián)網(wǎng)技術(shù)的興起，物聯(lián)網(wǎng)設(shè)備用頻需求快速增加。由于現(xiàn)實中物聯(lián)網(wǎng)專用工作頻段不足，如何充分利用現(xiàn)有頻譜資源，是物聯(lián)網(wǎng)技術(shù)發(fā)展面臨的一大難題。認知無線電技術(shù)為緩解頻譜資源難以充分利用問題提供了一種有效手段。通過頻譜預(yù)測和頻譜感知功能，認知無線電技術(shù)支持次級用戶提前預(yù)測信道未來頻譜占用規(guī)律，并機會性接入主用戶未使用的頻譜空洞，從而達到充分利用頻譜資源的目的。

常用的頻譜預(yù)測模型包括自回歸綜合移動平均（ARIMA）模型、支持向量機（SVM）模型、隱馬爾科夫（HMM）模型和關(guān)聯(lián)模式挖掘等傳統(tǒng)統(tǒng)計學(xué)模型。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，多層感知機（MLP）和長短時記憶網(wǎng)絡(luò)（LSTM）等技術(shù)在頻譜預(yù)測領(lǐng)域取得了超過統(tǒng)計學(xué)模型的良好性能。文獻[4]提出了基于MLP進行頻譜預(yù)測的方法。文獻[5]通過構(gòu)建HMM和MLP兩種頻譜預(yù)測方案，從提高頻譜利用率和節(jié)省感知能量兩個方面分析了信道狀態(tài)預(yù)測對頻譜感知性能的影響。文獻[6]構(gòu)建了復(fù)雜LSTM網(wǎng)絡(luò)以預(yù)測人工生成的跳頻序列。文獻[7]引入田口方法優(yōu)化LSTM網(wǎng)絡(luò)的超參數(shù)設(shè)計過程，在提高預(yù)測準確度的同時，計算量相比傳統(tǒng)網(wǎng)格搜索優(yōu)化方法減少了50%。文獻[8]通過分析流行業(yè)務(wù)頻段時域和頻域相關(guān)性，揭示了時域和頻域存在的較強相關(guān)性以及這種相關(guān)性的聚集效應(yīng)。這項工作在文獻[9]中得到進一步研究，文獻[9]開發(fā)了一種魯棒時頻二維聯(lián)合推理算法，利用與被預(yù)測頻點相似或相鄰頻點預(yù)測同一時隙的頻點狀態(tài)，該方法屬于推理算法，不具有時域預(yù)測功能。文獻[10]測量了土耳其三家無線運營商所屬頻段的頻譜活動數(shù)據(jù)，考慮到相鄰頻點的相關(guān)性和時間相關(guān)性，設(shè)計了2D-LSTM預(yù)測模型。仿真結(jié)果表明，2D-LSTM提升了預(yù)測性能，與本文不同的是，該文預(yù)測的是量化后的頻譜狀態(tài)并且未充分利用時間上的周期趨勢。

然而，即使深度學(xué)習(xí)方法在頻譜預(yù)測中有如此多的應(yīng)用，處理頻譜數(shù)據(jù)中的聯(lián)合時間-頻域相關(guān)性的工作也是有限的。此外，由于用戶活動模式潛在的規(guī)律性，一些業(yè)務(wù)頻帶的歷史頻譜狀態(tài)顯示出潮汐效應(yīng)，即日、周周期性變化?，F(xiàn)有研究未充分考慮頻譜數(shù)據(jù)頻域相關(guān)性和時間周期趨勢。

為此，本文在分析實測頻譜數(shù)據(jù)的基礎(chǔ)上，針對頻譜數(shù)據(jù)時間-頻域相關(guān)性和時間上的周期性，提出了二維采樣LSTM預(yù)測框架2D-SPLSTM?；趯崪y數(shù)據(jù)的實驗結(jié)果表明，與經(jīng)典方法相比，在預(yù)測精確度指標上均有提升。

1 理論與模型

1.1 相關(guān)性理論

頻譜狀態(tài)之所以能夠通過歷史數(shù)據(jù)進行預(yù)測，正是因為頻譜狀態(tài)之間具有相關(guān)性。現(xiàn)實中的頻譜數(shù)據(jù)由頻譜分析儀測量得到，通常以一定聚合方式和時頻分辨率存儲為數(shù)據(jù)矩陣。將時間和頻率維度上的頻譜數(shù)據(jù)按照時隙進行劃分，就得到某一頻點處個連續(xù)時間序列 ,即S={,,...,X,...,X}，同理，S={X,X,...,X,...,X)} 表示時刻，在個連續(xù)頻點的頻譜狀態(tài)。其中，代表隨機變量，表示隨機變量序列。

2個隨機變量的相關(guān)系數(shù)可由如下公式計算：

式中：cov(·)表示協(xié)方差算子；(·)表示統(tǒng)計平均算子；和是2個任意的隨機變量；μ和μ是統(tǒng)計平均；σ和σ是標準差。相關(guān)系數(shù)的絕對值越大，相關(guān)性越強。當(dāng)和是同一時間序列不同延時的子序列時，由式（1）可計算出該序列的自相關(guān)系數(shù)，自相關(guān)系數(shù)表示時間序列演化的自相似性。

對圖4所示的實測頻譜數(shù)據(jù)進行相關(guān)性分析，從圖1中可以清楚觀察到頻域也含有較強的相關(guān)性，并且相關(guān)性呈現(xiàn)聚集效應(yīng)。隨機選擇3個信道的時間序列，計算得出延遲系數(shù)=1到720的自相關(guān)系數(shù)的變化曲線，如圖2所示。信道的自相關(guān)系數(shù)呈現(xiàn)一日（等于480個時隙）周期性變化，這反映了信道狀態(tài)演化呈現(xiàn)日周期特性，以上頻域的較強相關(guān)性和周期特性促使本文開發(fā)更加有效的模型，以實現(xiàn)更加高效的頻譜預(yù)測功能。

圖1 實測頻譜數(shù)據(jù)的頻域相關(guān)性

圖2 信道自相關(guān)系數(shù)

1.2 長短時記憶網(wǎng)絡(luò)

長短時記憶網(wǎng)絡(luò)（LSTM）模型的基本部分是具有存儲單元和門結(jié)構(gòu)的存儲塊，每個存儲塊的門結(jié)構(gòu)分為3個部分：輸入門、輸出門和遺忘門。每個存儲塊處理時間序列的單個時隙數(shù)據(jù)，存儲塊按照前后時隙串行計算。門結(jié)構(gòu)中包含Sigmoid函數(shù)層，該函數(shù)把值壓縮到0～1之間，便于信息的更新或去除。遺忘門決定了一個值是否會保留在內(nèi)存中。另一方面，輸出門確定當(dāng)前時刻的輸出。LSTM的前向計算過程總結(jié)如下：

1.3 頻譜預(yù)測模型

不同于傳統(tǒng)頻譜預(yù)測模型，僅在時域?qū)v史數(shù)據(jù)進行建模分析，本文提出了如圖3所示的預(yù)測模型2D-SPLSTM。

圖3 2D-SPLSTM結(jié)構(gòu)

圖3中利用2個2D-LSTM組件分別對歷史頻譜數(shù)據(jù)中的接近趨勢和周期趨勢進行數(shù)據(jù)挖掘，提取的時間序列特征經(jīng)過融合后激活，得到模型預(yù)測值，與真實值進行比對后計算損失，損失值經(jīng)過反向傳播后更新模型參數(shù)，至此完成一次訓(xùn)練過程。2D-LSTM每個時隙輸入的是中心頻點和相鄰頻點組成的一組向量特征 {...,X,X,X,X,X,...}，其中，X表示時刻中心頻點處的頻譜狀態(tài)，2D-LSTM更有利于充分挖掘相鄰頻點之間數(shù)據(jù)相關(guān)性。

對于預(yù)測目標Y，2個2D-LSTM網(wǎng)絡(luò)被用于建模接近趨勢和周期趨勢，接近趨勢為歷史頻譜數(shù)據(jù)中與預(yù)測目標接近的時隙數(shù)據(jù)：

式中，表示接近趨勢的序列長度。周期趨勢為歷史頻譜數(shù)據(jù)中距離預(yù)測目標周期性采樣得到的數(shù)據(jù)：

算法1 2D-SPLSTM算法

輸入 ：歷史頻譜數(shù)據(jù)矩陣 {X|=1,...,；=1,...,} ；

每個時隙輸入向量維度；接近趨勢和周期趨勢時隙長度 ：、；預(yù)測范圍 Δ。

輸出：訓(xùn)練完成的2D-SPLSTM模型和測試集上的性能指標；

（1）←；

（2）構(gòu)建樣本集；

（3）=max{,·-Δ} ；

（4）對1/2·(+1)≤≤-1/2·(+1)執(zhí)行循環(huán)操作；

（5）對≤≤-Δ執(zhí)行循環(huán)操作；

（8）X為樣本標簽 ；

（10）內(nèi)層循環(huán)結(jié)束；

（11）循環(huán)取樣結(jié)束，得到樣本集，將樣本集按照8/1/1和時間先后順序，劃分為訓(xùn)練集、驗證集、測試集；

（12）訓(xùn)練模型；

（13）初始化2D-SPLSTM中所有可訓(xùn)練參數(shù)，將訓(xùn)練集、驗證集作為模型輸入，根據(jù)驗證集損失值變化設(shè)置早停門限；

（14）訓(xùn)練至停止，得到訓(xùn)練好的2D-SPLSTM模型；（15）驗證模型；

（16）將測試集作為模型輸入，輸出預(yù)測結(jié)果并計算性能指標。

1.4 算法復(fù)雜度分析

一個標準LSTM存儲塊中的參數(shù)總量可以計算為：

式中，、分別表示每個時間步輸入向量的維度、記憶單元的數(shù)量（與隱層節(jié)點的數(shù)量相等）。將LSTM模型計算每個參數(shù)在每個時間步的時間復(fù)雜度記為(1)，由于每個時間步之間串行計算，總的時間復(fù)雜度即為time_steps·(p)，time_steps為時間步。對于1D-LSTM與2D-LSTM模型，差別主要在于每個時間步的輸入維度從一維向多維擴展，這對時間復(fù)雜度影響不大。

算法的復(fù)雜度可以根據(jù)訓(xùn)練和驗證階段的運行時間大致表示。在模型訓(xùn)練階段，2D-SPLSTM模型的時間計算復(fù)雜度可以評估為：

式中：()、()分別表示建模周期趨勢和建模接近趨勢的2D-LSTM組件的時間復(fù)雜度；()為融合層中全連接層的時間復(fù)雜度。由于2個組件在融合之前相互獨立，可以并行計算，2D-SPLSTM模型的時間復(fù)雜度可以改寫為：

對于包含一個全連接層的融合層，其時間復(fù)雜度計算為：

式中：為全連接層節(jié)點數(shù)；為全連接層輸入維度；為輸出維度。2D-SPLSTM模型中，由于融合層參數(shù)量相比LSTM網(wǎng)絡(luò)很小，()相比()可以忽略，()=max{(),()}。

綜上所述，模型訓(xùn)練一次的時間復(fù)雜度與各2D-LSTM組件的時間步呈線性正相關(guān)，本節(jié)提出的模型時間復(fù)雜度相比1D-LSTM并無明顯提升。

2 實驗與分析

2.1 數(shù)據(jù)集

我們采用的數(shù)據(jù)集來自一個公開的頻譜分享網(wǎng)站Electrosense。如圖4所示，頻率范圍為792～820 MHz，傳感器imdea_adsb位于西班牙馬德里一處室外場地，頻譜聚合的頻率分辨率為200 kHz，時間分辨率為3 min，時間跨度從2021年8月6日至2021年8月31日，所采集的頻譜矩陣為11 980行141列，即11 980個時隙141個頻點，采集的數(shù)據(jù)類型為無線信號的信噪比（dB）。該頻帶為LTE無線通信業(yè)務(wù)頻帶，從圖4可以明顯看出整個頻帶被劃分為3個子頻帶，子頻帶中間為保護頻帶，一般不含有用信號，所以顯示較低的功率水平。子頻帶中頻譜演化呈現(xiàn)有規(guī)律的帶狀間隔分布，進一步表明了頻譜演化的周期特性。

圖4 實測頻譜數(shù)據(jù)平面視圖

2.2 參數(shù)設(shè)置與性能評估

仿真由基于Python環(huán)境下的Keras庫實現(xiàn)，構(gòu)建的LSTM網(wǎng)絡(luò)模型設(shè)置了2個隱藏層，隱藏層均具有16個節(jié)點，激活函數(shù)選為整流線性單元（ReLU）。模型融合部分為一個20個節(jié)點的全連接層，激活函數(shù)為Sigmoid激活函數(shù)，輸出經(jīng)過歸一化的待預(yù)測頻譜狀態(tài)。優(yōu)化器選擇Adam，批尺寸為1 024，最大訓(xùn)練輪數(shù)設(shè)置為20，損失函數(shù)選擇均方誤差（MSE）。接近趨勢中=5，周期趨勢=7，=480，每一時隙的中心頻點和相鄰頻點總數(shù)為5。

訓(xùn)練集、測試集和驗證集按照8/1/1劃分。訓(xùn)練集和測試集一起進行模型訓(xùn)練，為防止過擬合并加快訓(xùn)練過程，根據(jù)測試集的損失值設(shè)定了早停門限，當(dāng)測試集上的損失值降低到一定水平即停止訓(xùn)練。同時，采用全局最大-最小歸一化方法將頻譜狀態(tài)歸一化至(0, 1]之間，經(jīng)過驗證集驗證，模型性能評估在反歸一化后進行。平均絕對百分比誤差（MAPE）、均方根誤差（RMSE）和R2分數(shù)用于評估模型性能。多層感知機（MLP）和1D-LSTM模型用來進行對比分析，MLP設(shè)置2個隱層，節(jié)點數(shù)分別為20、15，對比模型的輸入均為接近趨勢的數(shù)據(jù)，即5個時隙的數(shù)據(jù)。

2.3 仿真結(jié)果與討論

本節(jié)首先評估短期預(yù)測時的性能比較，設(shè)置Δ=3 min，即預(yù)測目標為下一時隙的頻譜狀態(tài)。為消除隨機性的影響，實驗進行了10次，取平均值作為最終結(jié)果。如表1所列，本文所提出的2D-SPLSTM模型在各項性能指標上均優(yōu)于對比模型，由于MLP不能獲取時間序列中的時空關(guān)聯(lián)性，性能較低。與MLP和1D-LSTM模型相比，提出的模型MAPE指標相對提升了11.1%和3.3%，其他各項指標均有顯著提升，驗證了2D-SPLSTM模型在挖掘時頻域相關(guān)性和周期趨勢的有效性。

表1 模型性能對比

圖5說明了在跨步預(yù)測場景下本文提出的2D-SPLSTM模型與其他模型的MAPE指標性能對比，跨步預(yù)測即根據(jù)歷史數(shù)據(jù)直接推測不同時隙間隔的未來頻譜狀態(tài)。設(shè)置Δ=3 min、6 min、9 min、12 min、15 min,即預(yù)測范圍從1個時隙到5個時隙，可以觀察到，隨著預(yù)測范圍的變化，其他模型的預(yù)測性能下降明顯，本文提出的模型獲得了相對穩(wěn)定的預(yù)測性能。這一現(xiàn)象說明接近趨勢此時所含的相關(guān)信息明顯減少，周期趨勢的加入，對跨步預(yù)測場景更加重要。

圖5 不同預(yù)測范圍下模型性能對比

3 結(jié) 語

本文根據(jù)實測頻譜數(shù)據(jù)時-頻域相關(guān)性和時間上的周期趨勢，提出一種能夠挖掘時-頻域相關(guān)性和時間上周期趨勢的頻譜預(yù)測模型。通過融合這兩種趨勢的相關(guān)性，在一定程度上提高了模型在實測數(shù)據(jù)集上的性能。本文研究的是歷史數(shù)據(jù)豐富情況下的短時預(yù)測問題，與現(xiàn)實情況還存在一定差距。在實際應(yīng)用時，頻繁切換頻段或改變部署地點帶來的歷史頻譜數(shù)據(jù)不足和長時有效的預(yù)測問題，是下一步重點關(guān)注的研究方向。