基擴(kuò)展模型下基于LSTM神經(jīng)網(wǎng)絡(luò)的時變信道預(yù)測方法

聶 倩, 楊麗花, 呼 博, 任露露

(南京郵電大學(xué)江蘇省無線通信重點(diǎn)實(shí)驗(yàn)室, 江蘇 南京 210003)

0 引 言

近年來,隨著通信技術(shù)的迅速發(fā)展,面向高速移動無線通信(如用于高速鐵路、高速公路)的研究也越來越廣泛。無線通信系統(tǒng)借助于準(zhǔn)確的信道狀態(tài)信息(channel state information,CSI),通過自適應(yīng)地選擇傳輸參數(shù),可以獲得較大的性能提升。現(xiàn)階段,大多數(shù)無線通信系統(tǒng)通過信道估計來獲取CSI。然而,在高速移動場景下,由于多普勒頻移引起的信道快速變化將會導(dǎo)致信道估計獲取的CSI出現(xiàn)老化現(xiàn)象,這將嚴(yán)重惡化高速移動通信系統(tǒng)的性能。信道預(yù)測由于可以提前預(yù)測未來的CSI,通過時間跨度來抵消延遲,能夠有效地解決高速移動場景中CSI過時的問題,且無需消耗額外的無線電資源,因此信道預(yù)測被認(rèn)為是高效獲取高速移動場景CSI的有效途徑之一。

現(xiàn)有的信道預(yù)測方法可以分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法,傳統(tǒng)方法通過將無線信道建模為一組無線電傳播參數(shù),并利用一階自回歸(autoregressive,AR)、線性最小均方誤差(linear minimum mean square error,LMMSE)、支持向量機(jī)(support vector machine,SVM)等方法對傳播參數(shù)進(jìn)行預(yù)測,但在高速移動場景下,大的多普勒頻移使得信道發(fā)生快速時變,這將導(dǎo)致信道具有非線性變化特性,利用傳統(tǒng)線性估計方法(如一階AR模型方法、LMMSE方法等)無法準(zhǔn)確地捕獲到信道的實(shí)際特征。此外,SVM方法需要將非線性預(yù)測問題映射到高維,這依賴于復(fù)雜的計算過程。因此,這些傳統(tǒng)的估計方法在高速移動場景下的適用性受到了很大的限制。

與傳統(tǒng)方法不同,基于深度學(xué)習(xí)的信道預(yù)測方法是依賴于數(shù)據(jù)的,其通過訓(xùn)練大量的數(shù)據(jù)自適應(yīng)地捕獲數(shù)據(jù)中固有的特征。其中,基于反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò),文獻(xiàn)[7]通過對歷史時刻的CSI進(jìn)行線下訓(xùn)練和線上預(yù)測,來實(shí)現(xiàn)對未來時刻的CSI預(yù)測,但是由于BP神經(jīng)網(wǎng)絡(luò)屬于前饋神經(jīng)網(wǎng)絡(luò),未充分考慮預(yù)測序列在不同時刻的時間相關(guān)性,因此該預(yù)測模型不夠精確。相比之下,由于循環(huán)神經(jīng)網(wǎng)絡(luò),特別是長短期記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò),可以有效地探索數(shù)據(jù)序列之間的時間相關(guān)性,因此目前許多研究人員使用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行信道預(yù)測。文獻(xiàn)[8]和文獻(xiàn)[9]分別給出了基于單層和雙層LSTM神經(jīng)網(wǎng)絡(luò)的信道預(yù)測模型,通過將連續(xù)采樣獲得的信道響應(yīng)送入LSTM神經(jīng)網(wǎng)絡(luò),以實(shí)現(xiàn)時變信道的預(yù)測,但由于神經(jīng)元數(shù)目較多,此方法的計算復(fù)雜度太大。文獻(xiàn)[10]針對車對基礎(chǔ)設(shè)施(vehicle-to-infrastructure,V2I)毫米波信道給出了一種包含卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNNs)、LSTM網(wǎng)絡(luò)和全連接(fully connected,FC)層的盲CSI預(yù)測模型,該方法主要利用該模型來預(yù)測信噪比,并根據(jù)信噪比切換適當(dāng)?shù)恼{(diào)制模式,以提高通信質(zhì)量。文獻(xiàn)[11]針對智能互聯(lián)汽車邊緣計算網(wǎng)絡(luò)給出了一種基于LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測方法,主要基于歷史時刻和當(dāng)前時刻的信道參數(shù)預(yù)測未來時刻的信道。與傳統(tǒng)方法相比,深度學(xué)習(xí)方法能夠更好地適配高速移動場景的信道條件,然而這些現(xiàn)有的方法在訓(xùn)練網(wǎng)絡(luò)階段通常將理想的、無噪聲的信道參數(shù)作為逼近目標(biāo),這是與實(shí)際不符的,因?yàn)樵趯?shí)際的通信系統(tǒng)中,理想的信道信息是未知的。另外,現(xiàn)有的深度學(xué)習(xí)方法均直接利用歷史CSI進(jìn)行預(yù)測,導(dǎo)致預(yù)測過程中使用的參數(shù)過多,大大增加了計算復(fù)雜度。

為了解決以上問題,本文提出了一種基擴(kuò)展模型(basis expansion model, BEM)下基于LSTM神經(jīng)網(wǎng)絡(luò)的時變信道預(yù)測方法?？紤]到在高移動性場景中,不同車輛在同一位置處的無線信道具有很強(qiáng)的相關(guān)性,新方法首先借助歷史時刻CSI的自相關(guān)矩陣求解最佳基函數(shù),從而實(shí)現(xiàn)了對BEM的改進(jìn),然后利用基系數(shù)估計值預(yù)測信道系數(shù),大大減少了預(yù)測的復(fù)雜度。在線下訓(xùn)練過程中,新方法將網(wǎng)絡(luò)逼近的目標(biāo)設(shè)置為基于較高精度的LMMSE方法估計的時域信道系數(shù),而非理想的基系數(shù),以增強(qiáng)預(yù)測模型的實(shí)用性。

1 系統(tǒng)模型

1.1 信號模型

本文考慮的是一個單入單出的正交頻分復(fù)用(orthogonal frequency division multiplexing, OFDM)系統(tǒng),假設(shè)是頻域發(fā)送的第個OFDM符號,=[(0),(1),…,(-1)],其中()是第個OFDM符號第個子載波上的頻域發(fā)送信號,是子載波的數(shù)目。在此,包含個導(dǎo)頻符號與-個數(shù)據(jù)符號。

在接收端,接收到的第個頻域OFDM符號為

=+

(1)

(2)

1.2 基于BEM的信道模型

BEM可以通過有限個基函數(shù)來模擬無線信道參數(shù),采用BEM對信道建?？梢詼p小計算復(fù)雜度。利用BEM,式(2)中的,()可以表示為

(3)

式中:,為第個基函數(shù)的第個組成分量,0≤≤-1,為使用的基函數(shù)的數(shù)目;,,為與第徑第個OFDM符號周期上第個基函數(shù)對應(yīng)的基系數(shù);,()是采用BEM對信道建模時產(chǎn)生的建模誤差。

將式(3)轉(zhuǎn)化為向量形式,即

,=,+,

(4)

式中:,=[,(0),,(1),…,,(-1)];是×維的基函數(shù)矩陣,[],=,;

(5)

采用BEM對信道進(jìn)行建模,則式(1)中的接收信號可以重新表示為

=+

(6)

式中:

(7)

式中:是第個OFDM符號的基系數(shù)矩陣;是×維離散傅里葉變換矩陣的第列;是×維的矩陣,具體表示為

(8)

2 新方法

由于新方法是采用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行信道預(yù)測的,因此本節(jié)將首先對LSTM神經(jīng)網(wǎng)絡(luò)的基本原理進(jìn)行扼要介紹,然后再對新方法進(jìn)行詳細(xì)介紹。

2.1 LSTM神經(jīng)網(wǎng)絡(luò)

與前饋神經(jīng)網(wǎng)絡(luò)相比,LSTM神經(jīng)網(wǎng)絡(luò)是一種典型的循環(huán)神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)的每個LSTM單元都存在一個反饋回路,允許隱藏層內(nèi)部的神經(jīng)元自循環(huán)連接,能夠充分預(yù)測序列的時間相關(guān)性,被廣泛應(yīng)用于信道預(yù)測領(lǐng)域。因此,新方法將采用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行信道預(yù)測。

圖1展示了由一個輸入層、兩個隱藏層(即兩個LSTM層)和一個輸出層組成的深度LSTM網(wǎng)絡(luò),其中輸入層、隱藏層、輸出層的神經(jīng)元節(jié)點(diǎn)數(shù)量分別為,,,,且每個隱藏層都會輸出兩種狀態(tài),即短期記憶單元和長期記憶單元。圖1左側(cè)給出了深度LSTM網(wǎng)絡(luò)的簡易結(jié)構(gòu),該圖表示在任意時刻,將輸入數(shù)據(jù)和前一時刻第一個LSTM層的輸出送入到第一個LSTM層中,會生成一個中間向量,然后將和前一時刻第二個LSTM層的輸出送入到第二個LSTM層中,會生成最終的輸出數(shù)據(jù)。

圖1 LSTM神經(jīng)網(wǎng)絡(luò)的原理圖Fig.1 Schematic diagram of LSTM neural network

圖1右側(cè)給出了按照時間順序遍歷LSTM層的網(wǎng)絡(luò)結(jié)構(gòu)。以第個時刻的第一個LSTM層為例,首先將數(shù)據(jù)和前一時刻的短期記憶單元-1輸入到4個FC層中,會生成遺忘門向量、輸入門向量、輸出門向量和暫時狀態(tài)向量,具體表示為

(9)

式中:,表示FC層的權(quán)重矩陣;表示偏置向量;(·),(·)分別表示Sigmoid激活函數(shù)和tanh激活函數(shù)。

然后,通過遺忘門丟棄-1的部分信息,并添加輸入門選擇的新信息,可生成第個時刻的長期記憶單元,再通過輸出門進(jìn)行濾波,可生成第個時刻的短期記憶單元,即中間向量,具體表示為

(10)

式中:?表示矩陣的哈達(dá)瑪積。

最后,將輸入到第個時刻的第二個LSTM層中,并執(zhí)行式(9)和式(10)的過程,可得到第個時刻最終的輸出向量。此外,長期記憶單元和短期記憶單元也將被送入第+1時刻的LSTM層中作為輸入。

2.2 新型的基于LSTM網(wǎng)絡(luò)的信道預(yù)測方法

新方法主要通過對歷史時刻CSI的相關(guān)矩陣進(jìn)行特征值分解來實(shí)現(xiàn)對基擴(kuò)展模型的改進(jìn),并根據(jù)歷史接收的導(dǎo)頻信號獲得歷史信道的基系數(shù)估計,再利用該基系數(shù)估計構(gòu)造樣本,對LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行線下訓(xùn)練和線上預(yù)測,獲取未來時刻的信道預(yù)測。新方法具體描述如下:

(1) 采用BEM進(jìn)行信道建模,獲取歷史信道的基系數(shù)估計

常用的BEM有復(fù)指數(shù)BEM、廣義復(fù)指數(shù)BEM以及多項(xiàng)式BEM等。然而,這些現(xiàn)有的模型比較固定,并不能真實(shí)地反映實(shí)際變化的信道,因此存在較大的建模誤差。

在高速移動場景下,由于前后車輛在同一位置處經(jīng)歷的信道具有很強(qiáng)的相關(guān)性,本文將從歷史時刻CSI的相關(guān)矩陣中求解最佳的基函數(shù),實(shí)現(xiàn)了對BEM的改進(jìn),并利用改進(jìn)后的BEM重新擬合時域信道,這將使得信道建模更加精確,更能準(zhǔn)確地表征當(dāng)前信道狀態(tài)。

若在接收端已知第個時刻的理想頻域信道信息,則可根據(jù)信道信息獲取信道的相關(guān)矩陣,即

(11)

式中:=[(0),(1),…,(),…,(-1)],其中()是第個符號第個子載波的理想頻域信道系數(shù)。

對相關(guān)矩陣進(jìn)行特征值分解,可以得到

=

(12)

式中:是的特征值組成的對角陣;代表特征向量矩陣,的第1列到第列組成最佳基函數(shù),即

=(∶,1∶)

(13)

基于最優(yōu)基函數(shù)矩陣,對信道進(jìn)行建模,然后利用歷史時刻接收的導(dǎo)頻信號和最小二乘(least squares, LS)估計方法可以估計得到第個符號的基系數(shù)估計值:

(14)

(15)

其中,

(16)

(2) 利用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行信道預(yù)測

由于復(fù)值神經(jīng)網(wǎng)絡(luò)架構(gòu)繁雜,所需神經(jīng)元數(shù)目較多,導(dǎo)致在線下訓(xùn)練網(wǎng)絡(luò)和線上進(jìn)行預(yù)測時會引起較長的運(yùn)行時間,并產(chǎn)生較大的復(fù)雜度。本文將樣本數(shù)據(jù)的實(shí)部和虛部進(jìn)行分離,采用兩個實(shí)值網(wǎng)絡(luò)分別預(yù)測基系數(shù)的實(shí)部與虛部,且兩個實(shí)值網(wǎng)絡(luò)的參數(shù)設(shè)置保持一致。

① 數(shù)據(jù)預(yù)處理及線下訓(xùn)練

對式(14)獲得的歷史基系數(shù)估計以及目標(biāo)基系數(shù)進(jìn)行正則化處理,處理后的樣本數(shù)據(jù)按照1∶1的比例劃分為實(shí)部、虛部訓(xùn)練集,和實(shí)部、虛部測試集,,訓(xùn)練集表示為

(17)

(18)

(19)

(20)

(21)

本文將損失函數(shù)表示為網(wǎng)絡(luò)輸出的時域信道系數(shù)預(yù)測值與目標(biāo)時域信道系數(shù)的均方誤差(mean square error,MSE)。通常,損失函數(shù)可以表示為

(22)

(23)

在網(wǎng)絡(luò)訓(xùn)練過程中,為了避免梯度下降、出現(xiàn)局部最優(yōu)情況,本文使用小批量梯度下降算法,并利用Adam方法對梯度進(jìn)行反向更新。為避免網(wǎng)絡(luò)模型出現(xiàn)過擬合現(xiàn)象,神經(jīng)元在訓(xùn)練過程中使用Dropout方法,即輸入層和隱藏層的神經(jīng)元以一定概率不參與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。一旦訓(xùn)練完成,該網(wǎng)絡(luò)模型就可以用于預(yù)測未來時刻的時域信道信息。

② 線上預(yù)測階段

線上預(yù)測就是將測試集中的任意樣本送入到兩個訓(xùn)練好的實(shí)值神經(jīng)網(wǎng)絡(luò)中,然后由網(wǎng)絡(luò)輸出預(yù)測結(jié)果。實(shí)部、虛部測試集,表示為

(24)

其中,

(25)

(26)

最終得到的時域信道系數(shù)預(yù)測值為

(27)

式中:j是虛數(shù)單位。

3 計算機(jī)仿真與分析

3.1 計算機(jī)仿真

本節(jié)將對新方法進(jìn)行仿真與分析,以驗(yàn)證其預(yù)測性能。本文考慮的是一個單入單出的OFDM系統(tǒng),仿真過程中,采用的是兩層LSTM網(wǎng)絡(luò)。表1給出了具體的仿真參數(shù)。

表1 仿真參數(shù)Table 1 Simulation parameters

為了驗(yàn)證本文所提方法的性能,仿真還對比了文獻(xiàn)[7]基于BP神經(jīng)網(wǎng)絡(luò)和文獻(xiàn)[9]基于兩層LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測性能。其中,文獻(xiàn)[7]是利用歷史時刻的時域信道系數(shù)預(yù)測未來時刻的時域信道系數(shù),在網(wǎng)絡(luò)訓(xùn)練過程中,其逼近目標(biāo)為理想的時域信道系數(shù)。文獻(xiàn)[9]是基于LSTM神經(jīng)網(wǎng)絡(luò),對連續(xù)的時域信道響應(yīng)進(jìn)行預(yù)測,在網(wǎng)絡(luò)訓(xùn)練過程中,其逼近目標(biāo)為理想的時域信道信息。

圖2給出了新方法采用不同訓(xùn)練樣本數(shù)目時的MSE性能。仿真中,導(dǎo)頻數(shù)目設(shè)置為32。從圖中可以看出,隨著訓(xùn)練樣本數(shù)目的增加,新方法的預(yù)測性能有所提高,但是當(dāng)訓(xùn)練樣本數(shù)大于1 000時,新方法的性能不再提高,這是由于訓(xùn)練數(shù)目太多,導(dǎo)致網(wǎng)絡(luò)模型出現(xiàn)過擬合現(xiàn)象,且訓(xùn)練樣本數(shù)目的增加將延長訓(xùn)練時間,如表2所示,因此新方法在后面的仿真中將選擇訓(xùn)練樣本數(shù)為1 000。

圖2 新方法在不同訓(xùn)練樣本數(shù)目時的MSE性能(Np=32)Fig.2 MSE performance of the proposed method with different number of training samples (Np=32)

表2 樣本數(shù)目不同時的訓(xùn)練時長Table 2 Training time at different number of samples

圖3給出了所提方法在不同導(dǎo)頻數(shù)目下的預(yù)測性能。從圖中可以看出,隨著導(dǎo)頻數(shù)目的增加,新方法的預(yù)測性能也逐漸提升,這是因?yàn)閷?dǎo)頻數(shù)目越多,所包含的歷史信息越多,使得估計的基系數(shù)就越準(zhǔn)確。但是,大量導(dǎo)頻會增加估計基系數(shù)的復(fù)雜度,而且會降低通信系統(tǒng)的傳輸效率,因此在實(shí)際通信系統(tǒng)中應(yīng)該合理選擇導(dǎo)頻數(shù)目。

圖3 所提方法采用不同導(dǎo)頻數(shù)目時的MSE性能Fig.3 MSE performance of the proposed method with different number of pilot freguency

圖4給出了各種信道預(yù)測方法在不同逼近目標(biāo)時的MSE性能,即分別逼近理想信道系數(shù)和基于LMMSE方法估計的信道系數(shù)。從圖中可以看出,不論哪種預(yù)測方法,逼近理想信道的性能均優(yōu)于LMMSE估計信道的性能,這是由于利用理想信道訓(xùn)練得到的網(wǎng)絡(luò)模型精度更高。然而,在實(shí)際通信中,理想的信道信息往往是未知的,其需要通過估計/預(yù)測/反饋的方式獲取,因此新方法主要采用基于LMMSE方法獲得的信道估計作為目標(biāo)。與文獻(xiàn)[7]相比,不論逼近哪種信道信息,新方法均可以取得更優(yōu)的預(yù)測性能,這是因?yàn)槲墨I(xiàn)[7]所采用的BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)簡單,沒有充分考慮到信道系數(shù)在不同時刻的時間相關(guān)性,因此其預(yù)測精度不高。相比文獻(xiàn)[9],在低信噪比時,新方法的性能更優(yōu),這是由于文獻(xiàn)[9]利用LS與線性內(nèi)插方法來獲取歷史CSI比新方法僅利用LS方法獲取歷史基系數(shù)在低信噪比情況下的估計精度更差,利用誤差較大的歷史CSI構(gòu)造輸入樣本將導(dǎo)致與實(shí)際CSI誤差較大,因此文獻(xiàn)[9]的方法預(yù)測精度不高。然而,在高信噪比情況下,新方法的性能有所下降,這是由于隨著信噪比的增大,文獻(xiàn)[9]利用LS與線性內(nèi)插方法獲取的歷史CSI精度提高了,且該方法利用了所有的歷史CSI來進(jìn)行信道預(yù)測,這將使得獲取的信道特征更加豐富,而新方法采用基擴(kuò)展模型在信道建模時引入建模誤差,因此導(dǎo)致性能上有所損失。但是,新方法采用歷史時刻的基系數(shù)來預(yù)測時域信道系數(shù),相比現(xiàn)有方法減少了預(yù)測參數(shù)的數(shù)目,降低了計算復(fù)雜度。

圖4 不同信道預(yù)測方法的MSE性能(U=1 000,Np=32)Fig.4 MSE performance of different channel prediction methods (U=1 000, Np=32)

3.2 復(fù)雜度分析

本節(jié)將對不同方法的復(fù)雜度進(jìn)行分析,在此主要比較了文獻(xiàn)[7]、文獻(xiàn)[9]以及新方法的計算復(fù)雜度,每種方法的計算復(fù)雜度均包括獲取歷史信息、線下訓(xùn)練與線上預(yù)測3個部分。

表3給出了各種預(yù)測方法計算復(fù)雜度的比較分析,其中計算復(fù)雜度用浮點(diǎn)計算量(FLOPs)表示。為了更清楚地看出各種方法的計算復(fù)雜度,在此給出了當(dāng)=128,=5,=4,=1 000,==10,=32時各種方法的計算復(fù)雜度,如表3最后一列所示。從表3可以看出,文獻(xiàn)[7]方法的計算復(fù)雜度最低,但是其預(yù)測性能收益最小。新方法在獲取歷史信息時雖然增加了計算基函數(shù)矩陣和估計基系數(shù)的復(fù)雜度,但新方法的性能更優(yōu);與文獻(xiàn)[9]相比,新方法使用基系數(shù)預(yù)測替代全部CSI預(yù)測,減少了預(yù)測參數(shù)的數(shù)目,降低了網(wǎng)絡(luò)在線下訓(xùn)練和線上測試階段的復(fù)雜度。

表3 各種方法的計算復(fù)雜度分析Table 3 Complexity analysis of various methods

4 結(jié) 論

針對高速移動場景下的單入單出OFDM系統(tǒng),本文提出了一種BEM下基于LSTM神經(jīng)網(wǎng)絡(luò)的時變信道預(yù)測方法。新方法利用歷史時刻CSI的相關(guān)矩陣對BEM進(jìn)行改進(jìn),且采用基系數(shù)預(yù)測未來時刻的信道系數(shù),減少了預(yù)測參數(shù)的數(shù)量,降低了計算復(fù)雜度。此外,為了使信道預(yù)測模型更加符合實(shí)際通信系統(tǒng),新方法在線下網(wǎng)絡(luò)訓(xùn)練的過程中,將基于LMMSE方法估計的時域信道系數(shù)作為目標(biāo),大大增強(qiáng)了信道預(yù)測模型的實(shí)用性,是一種具有高精度和可靠性的時變信道預(yù)測方法。