注意力機(jī)制CNN的毫米波大規(guī)模MIMO系統(tǒng)信道估計(jì)算法

劉紫燕, 馬珊珊, 梁 靜, 朱明成, 袁 磊

(貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院, 貴州 貴陽 550025)

0 引 言

毫米波大規(guī)模多輸入多輸出(multiple input multiple output,MIMO)作為5G關(guān)鍵技術(shù),在提升移動通信系統(tǒng)性能方面因其具有的高速率和高效率得到了廣泛運(yùn)用。由于在收發(fā)端部署了大量天線,系統(tǒng)反饋、開銷、信道矩陣尺寸變化給系統(tǒng)的通信質(zhì)量帶來了挑戰(zhàn)。信道狀態(tài)信息獲取的準(zhǔn)確性反應(yīng)了系統(tǒng)的通信質(zhì)量,對于毫米波大規(guī)模MIMO系統(tǒng)信道估計(jì)的研究具有重要意義。信號傳播的過程中,受到外界環(huán)境、收發(fā)信機(jī)地理位置、系統(tǒng)配置等影響,對其產(chǎn)生大量數(shù)據(jù)信息進(jìn)行學(xué)習(xí)有利于提取系統(tǒng)信息,為信道估計(jì)提供基礎(chǔ)。深度學(xué)習(xí)作為人工智能領(lǐng)域的主要研究方法,其構(gòu)建的網(wǎng)絡(luò)模型對大量樣本數(shù)據(jù)具有強(qiáng)大分析能力和識別能力。近年來,將深度學(xué)習(xí)用于解決通信系統(tǒng)信道估計(jì)、信號檢測、預(yù)編碼等問題具有較好魯棒性為通信領(lǐng)域研究提供了新興方向。

傳統(tǒng)信道估計(jì)方法主要有最小二乘法(least square,LS)、最小均方誤差(minimum mean square error,MMSE)和壓縮感知算法。LS算法依據(jù)導(dǎo)頻輔助作用進(jìn)行線性插值估計(jì)未知信道響應(yīng)信息,其導(dǎo)頻開銷大,對多天線系統(tǒng)估計(jì)精度較差;MMSE算法需要基于信道的統(tǒng)計(jì)特性和先驗(yàn)信息,計(jì)算復(fù)雜度高;壓縮感知算法通過重構(gòu)恢復(fù)對信號進(jìn)行處理,對信道的特性具有稀疏性要求。近幾年將深度學(xué)習(xí)方法用于解決信道估計(jì)問題受到學(xué)者們的關(guān)注。將信道矩陣視作二維圖像,其方式區(qū)別于傳統(tǒng)信道估計(jì)算法,通過圖像處理方法進(jìn)行信道估計(jì)。文獻(xiàn)[17]基于導(dǎo)頻輔助作用,通過已知位置的信息估計(jì)出信道響應(yīng)的未知值。但其方法依然依賴于導(dǎo)頻的輔助作用,訓(xùn)練過程中導(dǎo)致系統(tǒng)開銷大。隨著天線數(shù)目的增大,在圖像轉(zhuǎn)換過程中存在矩陣維數(shù)大的問題,還需要對圖像進(jìn)行去噪、邊緣優(yōu)化等操作。文獻(xiàn)[18]引入去噪卷積神經(jīng)網(wǎng)絡(luò)(denoising convolutional neural network,DnCNN)對信道矩陣圖像進(jìn)行去噪處理,該網(wǎng)絡(luò)的性能優(yōu)于基于壓縮感知的算法。而DnCNN是針對特定的噪音水平量身定做的,只有當(dāng)噪音水平在訓(xùn)練范圍內(nèi)時效果才顯著。因此,將信道矩陣視為自然圖像進(jìn)行訓(xùn)練,采用深度學(xué)習(xí)訓(xùn)練模型估計(jì)方法,可適用于多種信號噪聲級別及空間相關(guān)噪聲，并可以提升訓(xùn)練速度。在去噪過程中,由于前期需要人為設(shè)定噪聲水平,而噪聲通常是與通道和空間相關(guān)的,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)在去噪方面具有較好的魯棒性。

基于導(dǎo)頻的信道估計(jì)方法，會產(chǎn)生導(dǎo)頻污染與開銷從而影響通信性能,基于深度學(xué)習(xí)的信道估計(jì)方法可以不依賴導(dǎo)頻信號的輔助,根據(jù)信道特性采取圖像去噪的方式解決信道估計(jì)問題。由于系統(tǒng)受噪聲影響,為提升去噪泛化能力和估計(jì)精度。本文提出一種基于注意力機(jī)制的CNN的信道估計(jì)方案,以CNN為基礎(chǔ)網(wǎng)絡(luò),融合注意力機(jī)制構(gòu)建信道估計(jì)網(wǎng)絡(luò)模型。將信道矩陣視為圖像進(jìn)行去噪處理,通過CNN提取信道噪聲信息,結(jié)合注意力機(jī)制增強(qiáng)圖像噪聲特性并進(jìn)行特征融合提取噪聲,該網(wǎng)絡(luò)具有良好的去噪效果。

1 系統(tǒng)模型

在時刻,系統(tǒng)傳輸?shù)臄?shù)據(jù)流為,經(jīng)系統(tǒng)傳輸,第個用戶向第個基站端發(fā)送信號,接受信號可以表示為

=,+

(1)

在生成信道路徑后,信道矩陣可由信道響應(yīng)加權(quán)相加,信道矩陣可以表示為

(2)

式中:=diag(,,…,);和分別是收發(fā)端陣列響應(yīng)矩陣。

考慮到大規(guī)模天線系統(tǒng)中天線間的相關(guān)性和毫米波在傳播過程中經(jīng)歷散射次數(shù)有限,信道,元素之間存在一定相關(guān)性,信道呈現(xiàn)稀疏特性。依據(jù)此特性,可將信道矩陣看作二維自然圖像,考慮信道噪聲的影響,采用圖像去噪技術(shù)提取信道噪聲部分,通過網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測試,得到估計(jì)的信道矩陣,從而實(shí)現(xiàn)信道估計(jì)。

2 基于注意力機(jī)制的CNN信道估計(jì)

2.1 基于注意力機(jī)制的圖像特征提取

注意力機(jī)制被廣泛運(yùn)用在自然語言處理、圖像識別、語音識別等領(lǐng)域,是深度學(xué)習(xí)技術(shù)中關(guān)鍵核心技術(shù)之一。其與人類視覺注意力機(jī)制相似,通過注意力機(jī)制可以從大量信息中快速提取出有效的信息,極大提高信息處理的效率。

注意力機(jī)制的過程如圖1所示,其過程主要分為3個階段:第一階段為將從模型的卷積層中提取得到, (0≤≤,0≤≤),其中、表示圖片的大小,通過傳輸?shù)阶⒁饬?將得到, 計(jì)算與各個元素,=之間的相關(guān)性。表達(dá)式為

圖1 注意力機(jī)制計(jì)算過程Fig.1 Computation process of attention mechanism

Similarity (,, )=,

(3)

第二階段對第一階段的結(jié)果進(jìn)行數(shù)值轉(zhuǎn)換,進(jìn)行歸一化處理,引入SoftMax。表達(dá)式為

, =SoftMax(Sim, )

(4)

第三階段將, 與中對應(yīng)的權(quán)重值Value, 進(jìn)行加權(quán)求和得到權(quán)重值。表達(dá)式為

(5)

其輸入是從卷積層中提取到的特征,輸出是該特征的注意力權(quán)重。

算法 1 注意力機(jī)制算法輸入:卷積層提取特征Zi,j輸出:權(quán)重Attention1. W,H2. Similarity (Kl, Zi,j)=KlZi,j3. αi,j=SoftMax(Simi,j) 4. for i < 0 to W do;5. for j < 0 to H do;6. Attention (Kl, Zi,j)=∑Wi=1∑Hj=1αi,j·Valuei,j7. end for8. end for

2.2 基于注意力機(jī)制CNN信道估計(jì)

CNN是由基礎(chǔ)的神經(jīng)元之間線性加權(quán)組成,并且是具有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。卷積結(jié)構(gòu)可以有效減少網(wǎng)絡(luò)參數(shù),緩解模型過擬合問題。其特征提取功能的核心模塊是由網(wǎng)絡(luò)中隱含層的卷積層和池化層組成,是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)模型中的權(quán)重參數(shù)逐層調(diào)節(jié)主要通過梯度下降法最小化損失函數(shù),通過不斷的迭代訓(xùn)練可以提高網(wǎng)絡(luò)的性能。因此,在圖像分類、識別、去噪等領(lǐng)域得到廣泛運(yùn)用。

CNN包括卷積層、激勵層、池化層和全連接層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。卷積層(Conv)可以實(shí)現(xiàn)對輸入圖片的特征進(jìn)行提取,其具有局部感受野和權(quán)值共享兩個特性。池化層(BN)可以降低網(wǎng)絡(luò)參數(shù)并避免特征維數(shù)大而出現(xiàn)過擬合問題。激勵層(Relu)為了防止數(shù)據(jù)中存在較大或小的數(shù)據(jù)對訓(xùn)練效果弱化。全連接層通過進(jìn)行特征融合并輸出。

圖2 CNN結(jié)構(gòu)Fig.2 CNN structure

本文提出基于注意力機(jī)制CNN的信道估計(jì)模型如圖3所示,其中模型由基礎(chǔ)的CNN和注意力機(jī)制網(wǎng)絡(luò)組成,將信道矩陣看作二維圖像輸入到網(wǎng)絡(luò)模型中。

圖3 基于注意力機(jī)制CNN的信道估計(jì)模型Fig.3 Channel estimation model based on attention mechanism CNN

通過CNN前兩層提取圖像的淺層特征,將CNN提取的淺層特征輸入到注意力網(wǎng)絡(luò)中,通過結(jié)合注意力機(jī)制網(wǎng)絡(luò)提取的特征,融合后得到顯著特征。最后,將提取的特征通過卷積層進(jìn)行噪聲提取,將提取的噪聲通過全連接層輸出。輸入是含信道噪聲矩陣,通過模型提取噪聲,輸出是估計(jì)信道矩陣。整個模型包含15層,除layer1層、layer2層和輸出全連接層外,每層由Conv+BN+Relu組成,其中Conv代表卷積,BN代表批量歸一化,Relu代表激活函數(shù)采用Relu函數(shù),卷積核采用3×3×64大小。

2.3 評價指標(biāo)

本文主要采用歸一化均方誤差(normalized mean square error,NMSE)來評價信道估計(jì)質(zhì)量。其是用來衡量估計(jì)量與被估計(jì)量之間差異程度,表達(dá)式為

(6)

2.4 復(fù)雜度分析

表1為本文提出和對比算法的復(fù)雜度比較,其中為子載波數(shù),為路徑數(shù)?；谏疃葘W(xué)習(xí)的信道估計(jì)方法,主要考慮以在線估計(jì)的復(fù)雜性為度量。

表1 算法復(fù)雜度對比

由表1可知,考慮在線估計(jì)階段,本文所提算法的復(fù)雜度高于LS,但較LS估計(jì)精度有較大提升,復(fù)雜度低于MMSE。主要是神經(jīng)網(wǎng)絡(luò)進(jìn)行在線訓(xùn)練,將已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)用于估計(jì),通過對矩陣進(jìn)行乘法加權(quán)無需進(jìn)行求逆,其復(fù)雜度較低。所提算法低于CNN,與DnCNN復(fù)雜度處于同等級,因增加了注意力機(jī)制,相較于CNN和DnCNN收斂得更快,相較于DnCNN可以得到更高的估計(jì)精度。

3 仿真結(jié)果與分析

本文所采用的數(shù)據(jù)集主要模擬在十字街道上分布的建筑物、基站和用戶之間的通信場景,通過DeepMIMO捕捉周圍環(huán)境和位置信息,將產(chǎn)生的數(shù)據(jù)通過網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練并估計(jì)信道狀態(tài)信息。首先通過文獻(xiàn)[30]的方式產(chǎn)生數(shù)據(jù)集,將得到的信道矩陣輸入到網(wǎng)絡(luò)中。數(shù)據(jù)集的產(chǎn)生中提供了18個可以選擇的基站,本文選定了第5～8個基站。在其分布的100萬多用戶中選取第1 200～1 800行的用戶?；咎炀€數(shù)=××,分別代表基站,,方向上天線的數(shù)量,參數(shù)設(shè)置如表2所示。其次選取樣本數(shù)40 000,其中75%用于訓(xùn)練數(shù)據(jù)集,15%用于驗(yàn)證數(shù)據(jù),10%用于測試數(shù)據(jù)。最后本文將所提出的算法與LS、MMSE、CNN、DnCNN方法進(jìn)行比較分析。

表2 系統(tǒng)仿真的主要參數(shù)

圖4分別對比了CNN、DnCNN 2種方法和所提方法在不同迭代次數(shù)下各網(wǎng)絡(luò)模型的損失。通過設(shè)定相同網(wǎng)絡(luò)參數(shù),在不同迭代次數(shù)下,優(yōu)于基于注意力機(jī)制模塊的優(yōu)化,在提取特征時更加注重需要關(guān)注的特征而忽略不重要的特征,基于所提方法的網(wǎng)絡(luò)模型在損失性能上優(yōu)于CNN、DnCNN。

圖4 不同迭代次數(shù)下各網(wǎng)絡(luò)模型的損失Fig.4 Loss of each network model under different iteration times

圖5～圖7分別對比了在信噪比(signal to noise ratio, SNR)分別為10 dB、20 dB、30 dB時,CNN、DnCNN兩種方法和所提方法在不同網(wǎng)絡(luò)層數(shù)下各網(wǎng)絡(luò)模型的NMSE性能比較。從圖4～圖6可以看出,通過不斷增加網(wǎng)絡(luò)層的數(shù)量來對比模型的估計(jì)性能,所提方法在相同網(wǎng)絡(luò)層數(shù)下性能優(yōu)于CNN、DnCNN方法。從圖4可以看出,當(dāng)網(wǎng)絡(luò)層數(shù)為9和11時,可以發(fā)現(xiàn)所提方法和DnCNN方法的NMSE性能在同一等級。從圖5可以看出,當(dāng)網(wǎng)絡(luò)層數(shù)為9和10時,可以發(fā)現(xiàn)所提方法和DnCNN方法MSE性能在同一等級。此外,所提方法在12層內(nèi)收斂,而CNN、DnCNN在15層和14層收斂。從圖6可以看出,當(dāng)網(wǎng)絡(luò)層數(shù)為9和13時,可以發(fā)現(xiàn)所提方法和DnCNN方法MSE性能在同一等級。此外,所提方法在11層內(nèi)收斂,而CNN、DnCNN在14層和13層收斂。本文方法模型上較其他簡單和實(shí)用。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,所提方法都能取得更好的NMSE性能。

圖5 不同網(wǎng)絡(luò)層數(shù)下各網(wǎng)絡(luò)模型的NMSE性能比較(SNR=10 dB)Fig.5 NMSE performance comparison of various network models under different network layers (SNR=10 dB)

圖6 不同網(wǎng)絡(luò)層數(shù)下各網(wǎng)絡(luò)模型的NMSE性能比較(SNR=20 dB)Fig.6 NMSE performance comparison of various network models under different network layers (SNR=20 dB)

圖7 不同網(wǎng)絡(luò)層數(shù)下各網(wǎng)絡(luò)模型的NMSE性能比較(SNR=30 dB)Fig.7 NMSE performance comparison of various network models under different network layers (SNR=30 dB)

圖8分別對比了LS、MMSE、CNN、DnCNN 4種方法和本文所提方法在不同SNR下的NMSE性能,其中LS和MMSE為傳統(tǒng)信道估計(jì)算法。LS算法的估計(jì)性能最差,MMSE算法較LS算法有一定的提升。從圖8可以看出,本文所提方法較CNN、DnCNN方法估計(jì)性能平均提升約1.53 dB。在SNR為0～15 dB情況下,比CNN、DnCNN方法估計(jì)性能平均提高約0.15～0.23 dB;在16～30 dB情況下基于所提方法的信道估計(jì)性能平均提高約0.68～1.43 dB。由于所提方法對樣本進(jìn)行訓(xùn)練學(xué)習(xí)時增加了注意力機(jī)制模塊,在噪聲提取上表現(xiàn)出了更好的性能,在同一SNR下,基于所提方法的信道估計(jì)精度平均提升約1.86 dB。

圖8 基于Attention-CNN和其他方法的NMSE曲線Fig.8 Normalized mean square error curves based on Attention-CNN and other methods

深度學(xué)習(xí)方法應(yīng)用于通信領(lǐng)域主要得益于對未知模型強(qiáng)大的學(xué)習(xí)能力,提出基于注意力機(jī)制CNN方法相較于其他方法性能有所提升。本文通過選取分布的基站中較為集中的幾個基站和多個用戶產(chǎn)生更符合實(shí)際通信場景的數(shù)據(jù),仿真結(jié)果表明,在不同SNR情況下,其估計(jì)精度有所提升,并且隨著信噪比增加,NMSE減小,估計(jì)性能越好。

4 結(jié) 論

針對信道估計(jì)受噪聲、系統(tǒng)性能影響的問題,本文通過DeepMIMO模擬產(chǎn)生數(shù)據(jù)集,將產(chǎn)生信道矩陣視為圖像的方式。本文通過注意力機(jī)制模塊增強(qiáng)圖像空間像素特征,將注意力機(jī)制結(jié)合CNN對圖像進(jìn)行去噪。結(jié)果表明,本文所提算法的信道估計(jì)精度較其他方法有所提升。下一步的研究方向是創(chuàng)建更切合真實(shí)環(huán)境的數(shù)據(jù)集,其他圖像的處理方式提取信道特征以及更簡單的網(wǎng)絡(luò)模型提升信道估計(jì)的精度。