CLPNet：基于深度學(xué)習(xí)大規(guī)模MIMO的CSI反饋網(wǎng)絡(luò)

劉為波，顏 彪，沈 麟，丁宇舟

(揚(yáng)州大學(xué) 信息工程學(xué)院，江蘇 揚(yáng)州225009)

0 引言

大規(guī)模多輸入多輸出(Multiple-Input Multiple-Output，MIMO)技術(shù)是下一代通信系統(tǒng)的核心技術(shù)之一?；?Base Station，BS)端配置大量天線后，可以利用分集及并行接收技術(shù)極大地提升信道容量。盡管普遍采用的是時(shí)分雙工(Time Division Duplexing，TDD)操作模式，但已經(jīng)證明，頻分雙工(Frequency Division Duplexing，F(xiàn)DD)大規(guī)模MIMO能夠處理由標(biāo)準(zhǔn)化帶來的低延遲需求，可能比TDD解決方案要好得多。這一特性激發(fā)并鼓勵(lì)了一些旨在減少或消除下行鏈路信道狀態(tài)信息(Channel State Information，CSI)捕獲開銷的研究。在FDD模式下，由于信道之間不存在互易性，為了在BS上實(shí)現(xiàn)預(yù)編碼的設(shè)計(jì)，設(shè)備端(User Equipment，UE)必須精確地把下行CSI反饋給BS端。然而，下行鏈路利用導(dǎo)頻訓(xùn)練進(jìn)行信道估計(jì)時(shí)，其開銷會(huì)隨著天線數(shù)量的增加呈指數(shù)性增長。因此，需要在反饋前進(jìn)行CSI壓縮來減少開銷。

傳統(tǒng)的壓縮感知方法(LASSO，BM3DA-MP和TVAL3)[1-2]存在一些致命缺點(diǎn)，如嚴(yán)重依賴信道稀疏性假設(shè)、迭代重構(gòu)信號(hào)效率低和沒有充分利用信道結(jié)構(gòu)等。深度學(xué)習(xí)(Deep Learning，DL)技術(shù)的快速發(fā)展為FDD大規(guī)模MIMO系統(tǒng)中CSI的有效反饋提供了另一種可能的解決方案。CsiNet[3]首先利用機(jī)器學(xué)習(xí)方法證明了DL在CSI反饋中的有效性，這是一種新穎的CSI感知和恢復(fù)機(jī)制，可以有效地從訓(xùn)練樣本中學(xué)習(xí)通道結(jié)構(gòu)。CsiNet學(xué)習(xí)從CSI到接近最優(yōu)的表示(或碼字)數(shù)量的變換，以及從碼字到CSI的反變換，自然地克服了信道稀疏性前提和重構(gòu)效率的局限性。在不同的壓縮率下，CsiNet的性能顯著優(yōu)于傳統(tǒng)壓縮感知(CS)方法。后續(xù)基于DL的方法大多利用了CsiNet的思想來實(shí)現(xiàn)更好的性能。Liu等[4]和Yang等[5]采用上行和下行CSI關(guān)聯(lián)，這可以被視為帶有額外條件或假設(shè)的新場(chǎng)景。CsiNet-LSTM[6]和Attention-CSI[7]引入了長短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)，顯著增加了計(jì)算開銷。CsiNet+[8]通過更新卷積核，在不增加額外信息的情況下提高了網(wǎng)絡(luò)性能，但CsiNet+的復(fù)雜性提高了很多倍。JCNet[9]和BcsiNet[10]降低了復(fù)雜度但性能也做了取舍。DN-Net[11]考慮到了實(shí)際的噪聲，提出了一種用于碼字去噪的噪聲提取單元。CRNet[12]在不增加計(jì)算復(fù)雜度的情況下優(yōu)于CsiNet。Wang等[13]提出了壓縮采樣CSI與神經(jīng)網(wǎng)絡(luò)結(jié)合，并使用了3D卷積層，其效果優(yōu)于無采樣方法。Ji等[14]提出了偽復(fù)值網(wǎng)絡(luò)CLNet，將實(shí)值神經(jīng)網(wǎng)絡(luò)模型中的實(shí)部和虛部結(jié)合起來，并采用了空間注意力模塊和通道注意力模塊。MRFNet[15]開發(fā)了一種具體多感受野和大卷積通道的神經(jīng)網(wǎng)絡(luò)。以上大多數(shù)研究沒有考慮到編譯碼器與圖像算法的深層次結(jié)合，仿真性能和復(fù)雜度未達(dá)到理想的狀態(tài)。

本文受CLNet和MRFNet的啟發(fā)，把MRFNet中編碼器部分提到的大卷積通道以及多感受野和CLNet的注意力機(jī)制進(jìn)行了結(jié)合，提出了CLPNet。在譯碼器部分對(duì)大卷積核進(jìn)行因子分解變?yōu)槎鄠€(gè)小卷積核，減少參數(shù)和復(fù)雜度。仿真證明，在復(fù)雜度提高很少的情況下，其性能有顯著增加。

1 系統(tǒng)模型

圖1 CLPNet工作流程Fig.1 Workflow of CLPNet

因此，在頻域中第n個(gè)子載波的接收信號(hào)可以表為：

(1)

(2)

(3)

式中，F(xiàn)a∈和Fd∈Nt×Nt是DFT矩陣。對(duì)于信道延遲矩陣H，每個(gè)元素都對(duì)應(yīng)一定的路徑延遲和到達(dá)角(Angle of Arrival，AOA)。在時(shí)間延遲域中，多徑到達(dá)之間的時(shí)間延遲是在有限的時(shí)間內(nèi)，所以只有前幾行有非零值，其余行表示傳播延遲較大的路徑由接近零的值組成。因此，可以取前行得到矩陣Ha，不會(huì)造成太多的信息損失。接下來可以利用CSI矩陣的稀疏性來進(jìn)一步壓縮。當(dāng)Nt→∞時(shí)，基于CS的方法具有足夠的稀疏性，然而Nt在實(shí)際系統(tǒng)中的應(yīng)用受到一定的限制，尤其是在壓縮比較大的情況下，其稀疏性不足。在本文中，考慮下行CSI反饋的編解碼網(wǎng)絡(luò)，將CSI矩陣Ha輸入到網(wǎng)絡(luò)中，UE端的編碼器部分根據(jù)給定的壓縮比η將Ha壓縮成一個(gè)長度為M的短特征向量c，然后BS端的解碼器接收碼字并將其重構(gòu)為定義為CR=M/N，N即Ha的大小，本文取32×32×2=2 048。最后,通過反變換和零填充來恢復(fù)最終的H。整個(gè)反饋方案可以歸結(jié)為：

(4)

(5)

本工作只關(guān)注反饋方案，下行信道估計(jì)和上行反饋假設(shè)是理想的。此外，采用COST2100[16]模型來模擬FDD大規(guī)模MIMO系統(tǒng)的信道矩陣。

2 網(wǎng)絡(luò)設(shè)計(jì)

2.1 研究動(dòng)機(jī)

卷積通道是一個(gè)很重要的超參數(shù)，每個(gè)通道都可以認(rèn)為是一個(gè)濾波器，其參數(shù)是可學(xué)習(xí)的。卷積通道的大小和特征圖的數(shù)量緊密相連。計(jì)算機(jī)視覺[17]證明了更多的卷積通道可以捕獲更多的特征。MRFNet[15]證實(shí)了在CsiNet中壓縮比為1/4的情況下，隨著卷積通道數(shù)量的增加，室內(nèi)室外環(huán)境下的性能均有提升。CRNet中證明了并行卷積層在CSI反饋中的有效性。MRFNet的實(shí)驗(yàn)結(jié)果表明，大卷積核可以獲得更多的全局信息，性能有進(jìn)一步的提升。CLNet編碼器端設(shè)計(jì)添加了偽復(fù)值網(wǎng)絡(luò)和CBAM模塊，其最后的復(fù)雜度和性能均優(yōu)于CRNet。CLNet主要是對(duì)編碼器部分進(jìn)行了改進(jìn)。綜合上述內(nèi)容，提出了MRFNet和CLNet的優(yōu)化結(jié)構(gòu)網(wǎng)絡(luò)——CLPNet。

2.2 CLPNet網(wǎng)絡(luò)

CLPNet總架構(gòu)如圖2所示，為了簡單，省略了傳統(tǒng)的卷積塊。CLPNet整體來說是一個(gè)端到端的編解碼框架，主要有4個(gè)模塊，是為CSI反饋問題定制的。CSI反饋方案的性能在很大程度上取決于壓縮部分，即編碼器壓縮的信息損失越小，解壓精度越高。受UE端的計(jì)算能力和存儲(chǔ)的限制，深度編碼器網(wǎng)絡(luò)設(shè)計(jì)是難以實(shí)現(xiàn)的。因此，CLPNet的編碼器端對(duì)CLNet編碼器進(jìn)行了優(yōu)化，只使用了空間注意力模塊，另使用了一個(gè)1×1的卷積塊。在2個(gè)定制塊級(jí)聯(lián)形式下，實(shí)現(xiàn)了一個(gè)復(fù)雜度較低但信息豐富的編碼器。在過去，設(shè)計(jì)CSI反饋網(wǎng)絡(luò)時(shí)CSI的實(shí)部和虛部是分開處理的，CSI矩陣是描述不同信號(hào)路徑的信道系數(shù)的復(fù)值。在第一個(gè)模塊，輸入的CSI首先經(jīng)過偽復(fù)數(shù)值輸入層，該層將實(shí)部和虛部嵌入在一起，以保留CSI的物理信息。其次，不同的信號(hào)路徑在角延遲域中具有不同的簇效果，對(duì)應(yīng)于不同的AOA和不同的路徑延遲。為了使神經(jīng)網(wǎng)絡(luò)更加關(guān)注這些簇并抑制不必要的部分，引入了CBAM塊[18]中的空間注意力機(jī)制。

圖2 CLPNet總架構(gòu)Fig.2 Overall architecture of CLPNet

2.3 編碼器

2.3.1 卷積操作

CSI矩陣是信道復(fù)系數(shù)，表示為：

(6)

式中，N為信號(hào)路徑總數(shù)；an(t)和θn(t)為在t時(shí)刻第k條路徑的衰減和相位變化。大多數(shù)的處理辦法是虛實(shí)分開，會(huì)破壞復(fù)值信道的原始物理特性。

在Encoder端進(jìn)行如下操作，首先,Ftr:Ha→ρ∈Na×Na×C是一個(gè)標(biāo)準(zhǔn)的卷積操作，其中C表示卷積核的數(shù)量。給定一個(gè)輸入Fi，其通過一系列卷積變換后得到一個(gè)通道數(shù)為s2的特征。Ftr的輸出為ρ=[ρ1,ρ2，…,ρC],ρC∈Na×Na，每個(gè)卷積核f都有可學(xué)習(xí)的權(quán)重wn。CLNet的操作是通過1×1卷積核逐點(diǎn)卷積，這樣復(fù)系數(shù)的實(shí)部和虛部可以顯示嵌入。

卷積操作可以表示為：

(7)

式中，vc表示第c個(gè)卷積核；xs表示第s個(gè)輸入；uc表示第c個(gè)二維矩陣；下標(biāo)c表示channel。

2.3.2 空間注意力塊

在角延遲域，信道系數(shù)反映了在不同分辨率下的簇效應(yīng)，對(duì)應(yīng)著具有特定延遲和AoAs的可分辨路徑。為了對(duì)這些簇給予更多的關(guān)注，CLPNet在編碼器部分使用了一個(gè)空間注意力模塊作為空間上的關(guān)注。如圖2上半部分的編碼器模塊所示，首先，在輸入Fi的通道C上采用平均池化和最大池化操作，生成2個(gè)2D特征映射圖，F(xiàn)avg∈Na×Na×1，F(xiàn)max∈Na×Na×1。隨后拼接2個(gè)特征映射圖生成一個(gè)壓縮的空間特性描述符Fcon∈Na×Na×2，將其與標(biāo)準(zhǔn)層卷積操作，生成2D空間注意力掩碼Fmask∈Na×Na×1，利用sigmoid函數(shù)激活掩碼，最后與原特征圖Fi相乘得到具有空間注意力的Fo，為：

Fo=Fi(σ(fc(Favg;Fmax)))。

(8)

2.4 譯碼器

CLPBlock為解碼器的主要部分。MRFNet中證明了大卷積通道的有效性，從復(fù)雜度(Flops)和性能方面綜合比較，CLPBlock中的每個(gè)卷積層的卷積通道大小為32，并有一個(gè)批歸一化(BN)函數(shù)和帶參數(shù)的PReLU激活函數(shù)。CLPBlock包含了3個(gè)不同卷積核的并行路徑，不同卷積核的大小分別為3×3,5×5,7×7。為了減少參數(shù)，5×5和7×7的卷積核通過卷積分解，分別分解為2個(gè)3×3和3個(gè)3×3卷積核的串聯(lián)形式，每個(gè)3×3卷積核后增加了激活函數(shù)使整個(gè)模型的非線性擬合能力也變強(qiáng)。3個(gè)通道并行輸出后進(jìn)行拼接激活操作，最后通過1×1的卷積核拼接，將96的通道數(shù)減少到32并使用歸一化函數(shù)輸出，這是整個(gè)CLPBlock操作過程。卷積核的多尺度可以提取具有不同感受野下的特征，并行結(jié)構(gòu)可以理解為從“復(fù)雜”輸入中提取更多信息的再提取操作，1×1卷積操作是一種特征融合和增加非線性的方法。最后，根據(jù)殘差學(xué)習(xí)的思想，添加帶有參數(shù)的LeakyRelu激活函數(shù)的相同路徑。

解碼器的輸入和輸出大小分別為M×1，2Na×Nt，頭部卷積層采用5×5卷積核性能最佳，CRNet已經(jīng)證明了這一點(diǎn)。首先，壓縮的碼字通過FC層恢復(fù)，重塑大小為2Na×Nt，然后通過5×5卷積核串聯(lián)到CLPBlock，把卷積通道同時(shí)擴(kuò)展到32通道。最后，通過一個(gè)3×3的卷積核操作后經(jīng)過Hardsigmoid函數(shù)激活。由于Hardsigmoid函數(shù)沒有指數(shù)運(yùn)算，因此可以減少一定的運(yùn)算時(shí)間，即復(fù)雜度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

(9)

復(fù)雜度通過Flops(每秒計(jì)算的浮點(diǎn)數(shù))來衡量，epoch為1 000，batch為200。激活函數(shù)使用了帶有參數(shù)的PReLU函數(shù)、帶有泄露的LeakyReLU函數(shù)和Hardsigmoid函數(shù)。通過無錯(cuò)誤反饋這個(gè)假設(shè)是合理的，因?yàn)榉答佹溌吠ǔＪ褂眉m錯(cuò)碼來保護(hù)，因此有一個(gè)非常低的錯(cuò)誤率[19]。

3.2 對(duì)比分析

本方法與其他幾種只關(guān)注壓縮和恢復(fù)的方法進(jìn)行了比較。不同壓縮比和在不同場(chǎng)景下的性能對(duì)比如表1所示。從表1可以看出，CLPNet在不同壓縮比和不同場(chǎng)景下的NMSE均高于其他方法的NMSE，尤其是在高壓縮比的情況下表現(xiàn)甚佳，這是因?yàn)榫W(wǎng)絡(luò)有了一個(gè)更加細(xì)化的編碼器，在空間上增加了注意力機(jī)制，即使在高壓縮比的情況下也能很好地恢復(fù)出信道矩陣。

本文對(duì)編碼器和解碼器參數(shù)數(shù)量進(jìn)行了對(duì)比，如表2所示，在參數(shù)數(shù)量方面CLPNet并沒有明顯增加。但從如圖3所示的卷積通道數(shù)量與復(fù)雜度關(guān)系可以看出，隨著卷積通道的增加其復(fù)雜度有了指數(shù)性的上升，選擇32通道為一個(gè)折中情況，其復(fù)雜度并未增加太多。可以看出，整個(gè)網(wǎng)絡(luò)的復(fù)雜度主要來源于解碼器，如果犧牲復(fù)雜度選擇64通道，性能將會(huì)進(jìn)一步提升。由于進(jìn)行了卷積分解，參數(shù)相對(duì)MRFNet也有了一定的減少，并且解碼器是在BS端，可以正常部署提高性能。由表1和表2綜合得出，CLPNet編碼器復(fù)雜度增長并未太多，解碼器部分復(fù)雜度Flops相比MRFNet小很多的情況下，CLPNet的性能均超過CLNet和MRFNet兩種網(wǎng)絡(luò)的性能。

CLPNet，CLNet和MRFNet在1 000次迭代、壓縮比CR=1/4的室內(nèi)情況下的性能曲線如圖4所示。從圖4可以看出，CLPNet網(wǎng)絡(luò)其收斂速度要明顯高于另外2種網(wǎng)絡(luò)的收斂速度，并且隨著epoch的增加，CLPNet性能依然提高。

表1 不同環(huán)境下的基于DL方法的NMSE

表2 編碼器和解碼器各自的參數(shù)數(shù)量

圖3 卷積通道數(shù)量與復(fù)雜度關(guān)系Fig.3 Number of convolution channels vs complexity

圖4 不同網(wǎng)絡(luò)訓(xùn)練曲線Fig.4 Different network loss curves

CLNet和MRFNet兩種網(wǎng)絡(luò)的曲線對(duì)比可以看出，大卷積通道的優(yōu)勢(shì)在初始情況下尤為明顯，但隨著迭代次數(shù)的增加，注意力機(jī)制的優(yōu)勢(shì)慢慢明顯起來。MRFNet[15]驗(yàn)證了MRF塊串聯(lián)數(shù)量增加會(huì)有進(jìn)一步性能的提升，說明CLPNet通過選擇更大的卷積通道和串聯(lián)更多的CLPBlock的情況下，即犧牲更多復(fù)雜度，性能會(huì)進(jìn)一步提高，最后通過實(shí)驗(yàn)驗(yàn)證了此猜想。

最后，本文做了2項(xiàng)消融研究。第1，對(duì)CLNet[14]的編碼器部分進(jìn)行了消融研究，發(fā)現(xiàn)加入的SENet模塊在放入CLPNet網(wǎng)絡(luò)中進(jìn)行訓(xùn)練時(shí)，仿真性能提升不到1%，原因可能是信道矩陣對(duì)空間維度更加敏感。

第2，比較了在CR=1/4的室內(nèi)環(huán)境下不同激活函數(shù)的性能比較，仿真結(jié)果如圖5所示。

圖5 不同激活函數(shù)性能對(duì)比Fig.5 Performance of different activation functions

可以看出，帶有參數(shù)的PReLU函數(shù)相對(duì)LeakyReLU和sigmoid函數(shù)性能分別提高了2.6%和3.6%，說明帶有參數(shù)的PReLU函數(shù)更有利于網(wǎng)絡(luò)的訓(xùn)練，并且在實(shí)際訓(xùn)練記錄中顯示了其收斂速度也高于另外2種激活函數(shù)。這也證實(shí)了二值化量化聚合網(wǎng)絡(luò)研究[20]中的結(jié)論。

4 結(jié)束語

本文研究了5G通信系統(tǒng)下的關(guān)鍵技術(shù)，即FDD模式下的大規(guī)模MIMO的CSI反饋問題，提出了一種基于DL的網(wǎng)絡(luò)結(jié)構(gòu)CLPNet。在整個(gè)網(wǎng)絡(luò)中，編碼器端的偽復(fù)值輸入層考慮到了信號(hào)的相位信息，并通過空間注意力機(jī)制分配權(quán)重增強(qiáng)簇的關(guān)注度；而解碼器端的網(wǎng)絡(luò)具有多個(gè)不同大小的卷積核提取不同特征，并具有大量卷積通道以保持豐富的信息特征。通過多個(gè)感受野的融合，可以更好地提高恢復(fù)質(zhì)量。仿真結(jié)果表明，在犧牲了較小復(fù)雜度的情況下，CLPNet在不同壓縮比的情況下均得到了性能的提升。