基于模型剪枝動(dòng)態(tài)調(diào)整壓縮率的CSI反饋方法

邵 凱, 杜自群, 王光宇,3

(1. 重慶郵電大學(xué)通信與信息工程學(xué)院, 重慶 400065; 2. 教育部移動(dòng)通信工程研究中心, 重慶 400065;3. 移動(dòng)通信技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室, 重慶 400065)

0 引 言

在大規(guī)模多輸入多輸出(multiple input multiple output, MIMO)系統(tǒng)中,信道狀態(tài)信息(channel state information, CSI)的準(zhǔn)確性直接影響系統(tǒng)的整體性能,在預(yù)編碼、波束賦形、信道估計(jì)和信號(hào)解調(diào)等方面發(fā)揮著極其重要的作用。在時(shí)分雙工(time division duplex, TDD)制式下,下行鏈路的CSI可以利用信道互易性通過(guò)上行鏈路推測(cè)而得到[1]。而在頻分雙工(frequency division duplex, FDD)制式下,上下行鏈路呈現(xiàn)弱互易性,下行鏈路的CSI不能通過(guò)上行鏈路推測(cè)獲得,需要在用戶端獲得并通過(guò)上行鏈路反饋給基站。由于大規(guī)模MIMO系統(tǒng)天線數(shù)量激增,CSI反饋機(jī)制會(huì)帶來(lái)巨大的反饋開(kāi)銷,占用了大量上行鏈路時(shí)頻資源,嚴(yán)重影響了系統(tǒng)性能。

為了解決大規(guī)模MIMO系統(tǒng)CSI反饋開(kāi)銷大的問(wèn)題,業(yè)界對(duì)CSI反饋方法開(kāi)展了廣泛的研究,例如基于碼本[2-4]、基于信道特性[5-8]、基于壓縮感知(compressed sensing,CS)[9-11]、基于深度學(xué)習(xí)(deep learning,DL)[12-14]等的反饋方法。在基于碼本的反饋中,用戶和基站通過(guò)預(yù)先設(shè)定的碼本,以編碼的“索引”方式交流CSI信息,但碼本大小隨天線數(shù)成比例增加,最優(yōu)碼字搜索算法也會(huì)愈加復(fù)雜。基于信道特性的反饋利用大規(guī)模MIMO的信道統(tǒng)計(jì)特性和時(shí)域、空域等表現(xiàn)出的相關(guān)性進(jìn)行分組處理,可以大大減少反饋信息,但在現(xiàn)實(shí)通信場(chǎng)景中,不易獲取大規(guī)模MIMO系統(tǒng)的統(tǒng)計(jì)特性,限制了其實(shí)際應(yīng)用。

CS方法和DL方法都致力于提取CSI特征,降低反饋信息維度。例如主成分分析(principal components analysis,PCA)方法[9]、分布式壓縮感知[10]和卡洛南變換(Karhunen-Loeve transform,KLT)[11]等壓縮采樣類方法嘗試將信道矩陣通過(guò)稀疏基變換到稀疏域,通過(guò)CS觀測(cè)矩陣對(duì)信號(hào)進(jìn)行壓縮降維。而文獻(xiàn)[12-14]則通過(guò)DL的方式從數(shù)據(jù)樣本中提取CSI高維特征,相較于原始信道矩陣反饋開(kāi)銷大大減少。

在CS的方法和DL方法中,均存在信號(hào)恢復(fù)的問(wèn)題。CS中常用的恢復(fù)算法有正交匹配追蹤(orthogonal matching pursuit,OMP)[15]、近似消息傳遞(approximate message passing,AMP)[16]、軟閾值迭代算法(iterative shrinkage-thresholding algorithm, ISTA)[17]等。但CS方法存在3個(gè)固有問(wèn)題。首先,CS嚴(yán)重依賴于信道稀疏的先驗(yàn)假設(shè),然而在實(shí)際情況中,信道并非是完全稀疏的,甚至還可能擁有其他不可解釋的結(jié)構(gòu)。再者,CS使用的隨機(jī)觀測(cè)矩陣不能完全利用信道內(nèi)在結(jié)構(gòu),無(wú)法提取除稀疏性的其他信道特性。最后,目前的CS重構(gòu)算法通常是迭代式算法,重構(gòu)的速度較慢。DL方法可以通過(guò)學(xué)習(xí)網(wǎng)絡(luò)提取信道特性,無(wú)需受先驗(yàn)知識(shí)的約束。文獻(xiàn)[12]中,作者首次提出將DL應(yīng)用于CSI反饋并設(shè)計(jì)了CsiNet反饋網(wǎng)絡(luò),在用戶端使用自動(dòng)編碼器對(duì)信道特征進(jìn)行提取,同時(shí)在基站端利用神經(jīng)網(wǎng)絡(luò)對(duì)信號(hào)重建恢復(fù)。通過(guò)擴(kuò)展文獻(xiàn)[12]的方法,文獻(xiàn)[13]利用信道時(shí)間相關(guān)性構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN),以解決時(shí)變信道反饋問(wèn)題,同時(shí)增加了深度可分離卷積修正網(wǎng)絡(luò),利用上下行鏈路之間的相關(guān)性來(lái)減少反饋開(kāi)銷。

綜上,DL方法在CSI反饋中發(fā)揮出日益重要的作用。但是,CS方法可以通過(guò)調(diào)整觀測(cè)矩陣實(shí)現(xiàn)不同壓縮率(compression rate,CR)的反饋,但現(xiàn)有的DL方法僅能以固定CR對(duì)CSI進(jìn)行壓縮反饋,無(wú)法依據(jù)通信場(chǎng)景、系統(tǒng)需求和頻譜資源對(duì)CR進(jìn)行動(dòng)態(tài)調(diào)整,即針對(duì)不同的CR,必須訓(xùn)練和存儲(chǔ)不同的網(wǎng)絡(luò)模型,占用了用戶設(shè)備大量的存儲(chǔ)空間,在實(shí)際使用中靈活性較差,嚴(yán)重影響了DL方案的實(shí)際部署應(yīng)用。文獻(xiàn)[14]指出,高CR的信道矩陣可以由低CR的信道矩陣產(chǎn)生,在文獻(xiàn)[12]的基礎(chǔ)上通過(guò)級(jí)聯(lián)全連接(fully connected, FC)層對(duì)信道矩陣進(jìn)一步壓縮,實(shí)現(xiàn)高CR反饋,并且提出了級(jí)聯(lián)多(serial multiple, SM)CR反饋模型SM-CsiNet+。但級(jí)聯(lián)FC層增加了模型深度,使得模型過(guò)于冗余,極易在訓(xùn)練過(guò)程中產(chǎn)生過(guò)擬合現(xiàn)象,且只能從低CR到高CR逐級(jí)壓縮,實(shí)際使用的可操作性較差。因此,本文基于2范數(shù)模型結(jié)構(gòu)化剪枝技術(shù),提出了一種可在DL中動(dòng)態(tài)調(diào)整CR的CSI反饋方案。本文主要工作如下:① 根據(jù)通信CSI信息特征,設(shè)計(jì)了殘差信道特性注意(residual channel characteristic attention,RCCA)機(jī)制,并搭建了CSI反饋網(wǎng)絡(luò)RCCA-Net。該網(wǎng)絡(luò)由Encoder和Decoder兩部分組成:Encoder在用戶端提取信道矩陣內(nèi)在特征并將其轉(zhuǎn)換為壓縮碼字,Decoder在基站對(duì)壓縮后的信道矩陣進(jìn)行恢復(fù)重建。針對(duì)通信CSI復(fù)數(shù)特征,所設(shè)計(jì)的RCCA機(jī)制在Decoder端分兩支路處理信道壓縮矩陣:上支路卷積層提取相鄰元素間關(guān)系,下支路利用全局平均池化(global average pooling,GAP)提取復(fù)信道矩陣所形成的兩通道間的依賴關(guān)系。將RCCA級(jí)聯(lián)組成多層殘差(multi-layer residual, MLR)網(wǎng)絡(luò)加大網(wǎng)絡(luò)深度,以增強(qiáng)重建效果;② 在RCCA-Net基礎(chǔ)上,本文提出了動(dòng)態(tài)調(diào)整CR方案RCCA-Prune。針對(duì)不同的CR,使用2范數(shù)評(píng)估RCCA-Net Encoder端權(quán)重矩陣中各神經(jīng)元的重要性,通過(guò)刪除冗余神經(jīng)元來(lái)動(dòng)態(tài)調(diào)整CR。

1 系統(tǒng)模型

(1)

(2)

Hc=fen(H,θ1)

(3)

式中:fen(·)表示壓縮過(guò)程;θ1表示壓縮模塊(編碼器)的參數(shù)。

編碼器將信道矩陣轉(zhuǎn)換為M維向量(碼字),解碼器是碼字到原始信道矩陣的逆變換:

(4)

式中:fde(·)表示解壓縮過(guò)程;θ2表示解壓縮模塊(解碼器)參數(shù)。結(jié)合式(3)和式(4),以均方誤差(mean square error,MSE)作為度量標(biāo)準(zhǔn),將CSI反饋過(guò)程建模為一個(gè)優(yōu)化問(wèn)題,用公式表示如下:

(5)

圖1所示為CSI反饋系統(tǒng)的基本模型,由CR選擇、特征提取、數(shù)據(jù)壓縮、數(shù)據(jù)解壓縮和特征重建等模塊組成。

圖1 CSI反饋系統(tǒng)模型Fig.1 CSI feedback system model

在用戶端,首先對(duì)信道矩陣進(jìn)行特征提取;根據(jù)通信場(chǎng)景、系統(tǒng)需求和頻譜資源等指標(biāo),CR選擇模塊設(shè)置相應(yīng)的CR,數(shù)據(jù)壓縮模塊按CR對(duì)信道特征壓縮編碼,經(jīng)上行鏈路反饋至基站,解碼器進(jìn)行解碼,重建信道矩陣。

2 解碼器至基站

圖2 RCCA-Net模型框架Fig.2 RCCA-Net model architecture

(6)

圖3 下支路通道特征校準(zhǔn)Fig.3 Lower branch channel characteristic calibration

首先,通過(guò)GAP計(jì)算實(shí)部虛部?jī)赏ǖ赖奶卣黜憫?yīng),得到一個(gè)C×1×1的通道維度的全局特征描述[18]。接著,通過(guò)一個(gè)1×1的下采樣卷積層和ReLU(rectified linear unit)激活函數(shù)將特征描述映射為權(quán)重集合;之后,通過(guò)上采樣對(duì)權(quán)重重新加權(quán)分配,卷積核大小同樣是1×1,激活函數(shù)選擇Sigmoid,下采樣和上采樣實(shí)際上是對(duì)通道特征的重新校準(zhǔn);最后,上下支路逐元素相乘進(jìn)行信息融合,得到完整的信道特性。

(7)

3 RCCA-Prune

在神經(jīng)網(wǎng)絡(luò)模型中,通常包含有卷積層、池化層、FC層、非線性層等基本結(jié)構(gòu),通過(guò)這些基本結(jié)構(gòu)堆疊,最終形成常用的深度神經(jīng)網(wǎng)絡(luò)。根據(jù)DL理論[23],神經(jīng)網(wǎng)絡(luò)中存在大量冗余的參數(shù)和神經(jīng)元,參與主要計(jì)算并對(duì)最終結(jié)果產(chǎn)生影響的只占總數(shù)的5%～10%。模型剪枝是一種壓縮模型大小和參數(shù)的方法,主要分為結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝。非結(jié)構(gòu)化剪枝方法剪掉不重要的神經(jīng)元連接,會(huì)破壞原有模型結(jié)構(gòu),影響現(xiàn)有硬件架構(gòu)對(duì)其計(jì)算過(guò)程的加速。而結(jié)構(gòu)化剪枝以神經(jīng)元或整個(gè)網(wǎng)絡(luò)層為基本單位進(jìn)行剪枝,剪枝后其前后特征圖會(huì)發(fā)生相應(yīng)的變化,但不會(huì)破壞模型結(jié)構(gòu),可以通過(guò)GPU或其他硬件來(lái)加速。經(jīng)過(guò)剪枝處理的模型通常很稀疏,模型結(jié)構(gòu)復(fù)雜度和參數(shù)量均會(huì)下降,可避免過(guò)擬合現(xiàn)象的發(fā)生,提高模型的泛化性。

剪枝過(guò)程通過(guò)定義重要性指標(biāo)來(lái)剪除相對(duì)不重要的參數(shù),如圖4所示。剪枝的指標(biāo)往往是啟發(fā)式的,根據(jù)評(píng)估指標(biāo)時(shí)所利用的信息,模型剪枝評(píng)估準(zhǔn)則可分為數(shù)據(jù)驅(qū)動(dòng)和參數(shù)驅(qū)動(dòng)兩類?；跀?shù)據(jù)驅(qū)動(dòng)的評(píng)估準(zhǔn)則需要利用輸入數(shù)據(jù),通常從特征層面、梯度層面和網(wǎng)絡(luò)輸出結(jié)果等方面進(jìn)行分析。但由于輸入數(shù)據(jù)的參與,模型剪枝過(guò)程較為復(fù)雜,計(jì)算資源和評(píng)估時(shí)間增加,導(dǎo)致實(shí)際使用受限?；趨?shù)驅(qū)動(dòng)的評(píng)估準(zhǔn)則在網(wǎng)絡(luò)結(jié)構(gòu)重要性評(píng)估過(guò)程中無(wú)需依賴輸入數(shù)據(jù),常使用1范數(shù)、2范數(shù)、幾何中位數(shù)[24]、批歸一化層中的γ參數(shù)和譜聚類[25]等方式來(lái)評(píng)估各神經(jīng)元重要性,通過(guò)預(yù)先設(shè)定的參數(shù)閾值來(lái)決定要修剪的網(wǎng)絡(luò)結(jié)構(gòu)。由于其評(píng)估過(guò)程不需要輸入數(shù)據(jù),只依賴模型本身的參數(shù),對(duì)計(jì)算資源要求較少,非常適合成本和內(nèi)存受限的用戶設(shè)備部署使用。

圖4 模型剪枝示意圖Fig.4 Model pruning framework skematic diagram

CS方法可以通過(guò)調(diào)整觀測(cè)矩陣實(shí)現(xiàn)不同CR, RCCA-Prune的設(shè)計(jì)目的是采用剪枝方案從RCCA-Net中裁剪掉不重要的神經(jīng)元以完成CR的調(diào)整,實(shí)現(xiàn)DL方案中對(duì)CSI信息的動(dòng)態(tài)反饋。需要強(qiáng)調(diào)的是,模型剪枝的典型應(yīng)用是減少模型參數(shù)量和計(jì)算復(fù)雜度,但在本文的研究問(wèn)題中,剪枝是為了對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步壓縮,從而實(shí)現(xiàn)CR的動(dòng)態(tài)調(diào)整。針對(duì)不同的問(wèn)題,會(huì)有不同的重要性度量指標(biāo)決定哪些神經(jīng)元應(yīng)該被裁剪,幾何中位數(shù)是對(duì)歐式空間點(diǎn)中心的估計(jì),一般用于卷積層的模型剪枝。本文動(dòng)態(tài)調(diào)整CR主要依靠FC層的剪枝操作,故不適合采用幾何中位數(shù)的評(píng)估準(zhǔn)則。批歸一化層中的γ參數(shù)是在模型訓(xùn)練過(guò)程中經(jīng)過(guò)逐步優(yōu)化獲得的,訓(xùn)練數(shù)據(jù)集分布情況、訓(xùn)練輪數(shù)等都會(huì)影響γ參數(shù),在實(shí)際情況中較難確定。譜聚類嚴(yán)重依賴相似矩陣和切圖方式的選擇,不同的參數(shù)對(duì)聚類結(jié)果會(huì)有較大影響;且聚類過(guò)程涉及大量矩陣求逆操作,計(jì)算復(fù)雜度很高。1和2范數(shù)都可作為神經(jīng)元剪枝的評(píng)估準(zhǔn)則,但1范數(shù)趨向產(chǎn)生少量特征,其他特征都為0,可能會(huì)使模型損失較多的有效特征,影響模型的特征表達(dá)。2范數(shù)會(huì)選擇更多的特征,這些特征都接近0,實(shí)現(xiàn)了對(duì)模型空間的限制,通過(guò)剪枝可讓模型推理更加穩(wěn)定快速,避免過(guò)擬合現(xiàn)象的發(fā)生,提高模型的泛化能力。

圖4是剪枝前后模型結(jié)構(gòu)變化示意圖。對(duì)于Encoder輸出層中的第t個(gè)神經(jīng)元,假設(shè)共有Nt條連接。每條連接以wi定義權(quán)值。

圖4中以不同線型表示權(quán)值大小,線條越細(xì),代表wi越小,虛線則表示對(duì)應(yīng)的wi非常小。定義St表示第t個(gè)神經(jīng)元所有連接的2范數(shù)之和,依St值對(duì)神經(jīng)元按重要性進(jìn)行排序。根據(jù)CR計(jì)算剪枝閾值k,將低于閾值k的神經(jīng)元通過(guò)進(jìn)行剪枝刪除。剪枝后的模型更加稀疏,Encoder輸出層的維度也會(huì)進(jìn)一步降低,即實(shí)現(xiàn)了CR的動(dòng)態(tài)調(diào)整。由于剪枝后的模型精度會(huì)有微小損失,其誤差變化計(jì)算方式如下:

(8)

式中:N′代表所裁剪神經(jīng)元的數(shù)量。

算法 1 基于?2范數(shù)的模型結(jié)構(gòu)化剪枝1:訓(xùn)練RCCA-Net深度神經(jīng)網(wǎng)絡(luò)模型;2:對(duì)于FC層中第t個(gè)神經(jīng)元,計(jì)算其所有權(quán)重的?2范數(shù)之和St=∑Nti=1w2i式中:Nt表示第t個(gè)神經(jīng)元的連接數(shù);3:對(duì)以上計(jì)算的所有St進(jìn)行排序;4:根據(jù)CR和剪枝比例確定閾值k=CR-CR'CR式中:CR表示當(dāng)前CR;CR'表示預(yù)期CR;5:依據(jù)排序結(jié)果剪去低于閾值k的神經(jīng)元,并剪去神經(jīng)元所對(duì)應(yīng)的連接。

4 系統(tǒng)仿真

4.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)置

本文分別在Saleh-Valenzuela[26]和DeepMIMO[27]信道場(chǎng)景下進(jìn)行仿真驗(yàn)證。Saleh-Valenzuela是一個(gè)超帶寬室內(nèi)多徑信號(hào)模型,描述了信道在時(shí)域、頻域和空域的隨機(jī)衰落特性;而DeepMIMO是一個(gè)針對(duì)大規(guī)模MIMO系統(tǒng)的公共數(shù)據(jù)集。系統(tǒng)仿真參數(shù)設(shè)置如表1所示。

表1 系統(tǒng)參數(shù)設(shè)置

在模型訓(xùn)練過(guò)程中,訓(xùn)練集、驗(yàn)證集和測(cè)試集的樣本數(shù)分別是100 000、30 000和20 000,所有樣本值作歸一化處理。為了使模型每一層輸出方差盡可能相等,使用Xavier初始化器對(duì)模型參數(shù)進(jìn)行初始化,使用Adam在訓(xùn)練集上迭代更新模型參數(shù)。訓(xùn)練輪數(shù)、初始學(xué)習(xí)率和批次大小分別是1 000、0.001和256。為了避免震蕩,使模型能更好地收斂到最優(yōu)解,設(shè)置學(xué)習(xí)率每經(jīng)過(guò)200輪衰減為原來(lái)的50%。使用歸一化MSE(normalized MSE,NMSE)描述模型在不同信道場(chǎng)景下的反饋精度,其定義如下:

(9)

4.2 復(fù)雜度計(jì)算

RCCA-Net編碼器主要是由卷積層和FC層組成,定義[Cin,Cout,K]表示輸入通道數(shù)為Cin、輸出通道數(shù)為Cout、卷積核大小為K的卷積層;[Nin,Nout]表示輸入神經(jīng)元數(shù)為Nin、輸出神經(jīng)元數(shù)為Nout的全FC層。NConv、NBN和NFC分別表示卷積層、批歸一化層和FC層的浮點(diǎn)運(yùn)算量(floating-point operations,FLOPs)。這里,將一次乘加(multiply and accumulate)算作兩個(gè)浮點(diǎn)運(yùn)算,NConv、NBN和NFC的計(jì)算方式如下:

NConv=K2CinCout+Cout

(10)

NBN=4Cout

(11)

NFC=NinNout+Nout

(12)

假定Encoder端雙層FC網(wǎng)絡(luò)的第1層神經(jīng)元數(shù)量為N,第2層(Encoder輸出層)神經(jīng)元數(shù)量為M,這個(gè)雙層全連接網(wǎng)絡(luò)的計(jì)算量為NM+M。對(duì)Encoder輸出層進(jìn)行剪枝,將輸出層神經(jīng)元數(shù)量由M減少到M′,其計(jì)算量也將變?yōu)镹M′+M′。當(dāng)M′減小到M的1/2時(shí),Encoder端的參數(shù)量和計(jì)算量都將減小為原來(lái)的1/2。

4.3 RCCA-Net反饋模型分析

本節(jié)以CsiNet+信道反饋模型[14]為對(duì)比方案,并以基于CS的OMP和AMP重構(gòu)算法作為基準(zhǔn)實(shí)驗(yàn)。圖5和圖6是4種方法分別在Saleh-Valenzuela和DeepMIMO場(chǎng)景下反饋精度的對(duì)比情況。由圖5和圖6可知,基于DL的RCCA-Net和CsiNet+明顯優(yōu)于OMP和AMP算法,而RCCA-Net恢復(fù)精度相較于CsiNet+也有所提升。結(jié)合圖5和圖6分析可發(fā)現(xiàn),RCCA-Net在兩種場(chǎng)景下對(duì)信道矩陣的恢復(fù)性能基本穩(wěn)定,而CsiNet+波動(dòng)較大,表明本文提出的殘差信道特性注意機(jī)制有效學(xué)習(xí)了信道矩陣的內(nèi)部特性,模型在不同數(shù)據(jù)集上具有良好的泛化性,能適應(yīng)實(shí)際通信系統(tǒng)中復(fù)雜多變的信道條件。

圖5 Saleh-Valenzuela信道下NMSE性能Fig.5 NMSE performance under Saleh-Valenzuela

圖6 DeepMIMO信道下NMSE性能Fig.6 NMSE performance under DeepMIMO

4.4 動(dòng)態(tài)調(diào)整CR性能分析

本節(jié)以RCCA-Net在Saleh-Valenzuela和DeepMIMO數(shù)據(jù)集上得到的模型為基準(zhǔn)進(jìn)行剪枝,以實(shí)現(xiàn)CR的動(dòng)態(tài)調(diào)整,同時(shí)對(duì)不同CR下模型的參數(shù)量變化、存儲(chǔ)空間和反饋精度進(jìn)行了比較分析。

結(jié)合RCCA-Net模型分析可知,當(dāng)CR=1/4時(shí),FC層的參數(shù)量為1 927 748,占模型參數(shù)總量2 103 086的90%以上,占用了大部分的內(nèi)存空間,因此動(dòng)態(tài)調(diào)整CR的關(guān)鍵就是通過(guò)模型剪枝減少FC層的參數(shù)量。表2是剪枝后不同CR下模型參數(shù)量變化及在不同場(chǎng)景下的性能比較,RCCA-Net的參數(shù)量為2 103 086個(gè),模型大小為8.96 M,在Saleh-Valenzuela和DeepMIMO信道下的反饋誤差分別為-17.21 dB和-12.92 dB。當(dāng)CR調(diào)整到1/8,模型的參數(shù)量減少了49.87%,而在Saleh-Valenzuela和DeepMIMO上反饋精度只有0.75 dB和2.05 dB的損失,可以看出在剪枝調(diào)整CR后,模型依然保持了較佳的反饋性能。即使CR調(diào)整到1/32,模型在兩數(shù)據(jù)集上也僅有1.24 dB和3.37 dB的性能損失,而模型大小減少了78.24%,極大地節(jié)省了用戶設(shè)備的存儲(chǔ)空間,為模型的實(shí)際部署應(yīng)用提供了可能性。上述分析說(shuō)明了本文提出的基于2范數(shù)模型結(jié)構(gòu)化剪枝動(dòng)態(tài)調(diào)整CR方案的可行性及有效性,在滿足不同用戶端設(shè)備及信道條件的場(chǎng)景下保證了CSI反饋的準(zhǔn)確性。

表2 剪枝后模型大小和參數(shù)變化情況

為了進(jìn)一步直觀說(shuō)明剪枝前后的恢復(fù)效果,將不同CR下恢復(fù)的信道矩陣以灰度圖像的方式進(jìn)行可視化展示,如圖7所示。選取了不同CR下的5個(gè)樣本構(gòu)成5張灰度圖像,由于大規(guī)模MIMO信道在角度-時(shí)延域表現(xiàn)出的稀疏性,大部分元素值接近0,僅包含少量的信息,所以圖像大部分區(qū)域表現(xiàn)為白色。當(dāng)CR=1/4時(shí),RCCA-Net的恢復(fù)結(jié)果幾乎不含任何噪聲,和原始數(shù)據(jù)十分接近,這表明RCCA-Net能有效對(duì)反饋的信道矩陣進(jìn)行恢復(fù)。隨著CR的增大,反饋的信道信息中包含的有效信息逐步減少,更易受噪聲干擾,使得重構(gòu)精度有所下降,但信道矩陣的基本特征仍然可重建恢復(fù),可在頻譜資源極度稀缺的場(chǎng)景下使用高CR進(jìn)行CSI反饋。

圖7 不同CR下重建效果可視化Fig.7 Reconstruction performance visualization under different CR

表3是本文提出的RCCA-Prune與SM-CsiNet+[14]在壓縮率調(diào)整過(guò)程中模型大小和參數(shù)量的變化。

表3 RCCA-Prune與SM-CsiNet+調(diào)整CR方案比較

在CR=1/4時(shí),RCCA-Prune和SM-CsiNet+的參數(shù)量和模型大小幾乎相同,以CR=1/4作為CR調(diào)整基準(zhǔn)。隨著CR增大,SM-CsiNet+由于級(jí)聯(lián)FC層使得模型復(fù)雜度大幅增長(zhǎng),而剪枝后的RCCA-Prune裁剪掉了冗余的參數(shù)和神經(jīng)元,模型大小逐步減少,在高CR下模型更加稀疏。在CR=1/32時(shí),RCCA-Prune模型的大小相較于SM-CsiNet+減少了18.97%,更適合部署在用戶設(shè)備中;而參數(shù)量?jī)H為SM-CsiNet+的10.93%,大幅縮減了模型計(jì)算推理時(shí)間,可滿足不同系統(tǒng)實(shí)時(shí)反饋的需求,RCCA-Prune在模型大小和參數(shù)量方面的優(yōu)勢(shì)也為模型的實(shí)際部署應(yīng)用提供了可能性。

圖8和圖9展示了在不同CR下兩種方案重構(gòu)性能的比較。

圖8 Saleh-Valenzuela信道下重建性能Fig.8 Reconstruction performance under Saleh-Valenzuela channel

圖9 DeepMIMO信道下重建性能Fig.9 Reconstruction performance under DeepMIMO channel

從圖8和圖9中可以看出,與級(jí)聯(lián)壓縮方案SM-CsiNet+相比,RCCA-Prune在CR調(diào)整過(guò)程中重構(gòu)誤差更低。當(dāng)CR=1/4時(shí),在Saleh-Valenzuela 信道和DeepMIMO場(chǎng)景下,兩種方案的重構(gòu)性能相當(dāng);但隨著CR的增大,RCCA-Prune性能基本保持穩(wěn)定,在CR=1/32時(shí)只有大約2 dB的性能損失,說(shuō)明本文提出的RCCA機(jī)制充分學(xué)習(xí)了信道統(tǒng)計(jì)特征,剪除了冗余的神經(jīng)元,使模型更加稀疏,而信道特征信息的少量損失可以忽略不計(jì),仍然可以保證通過(guò)Decoder對(duì)信道信息恢復(fù)重建。而SM-CsiNet+的級(jí)聯(lián)壓縮方式在高CR下重建性能急劇下降,在CR=1/32時(shí)已無(wú)法對(duì)DeepMIMO信道場(chǎng)景下的CSI進(jìn)行恢復(fù),這是因?yàn)镾M-CsiNet+級(jí)聯(lián)FC層破壞了模型結(jié)構(gòu),導(dǎo)致在高CR下特征信息提取缺失,Decoder可利用的有效信息減少,無(wú)法對(duì)信道矩陣精準(zhǔn)重構(gòu)。綜上,本文所提出的RCCA-Prune可以在保證反饋精度的基礎(chǔ)上依據(jù)系統(tǒng)需求動(dòng)態(tài)調(diào)整CR,參數(shù)量和模型大小遠(yuǎn)遠(yuǎn)小于SM-CsiNet+,且重構(gòu)精度更高,是一種高效的CR動(dòng)態(tài)調(diào)整方案。

5 結(jié) 論

本文提出了一種大規(guī)模MIMO FDD系統(tǒng)下基于RCCA機(jī)制的CSI反饋模型RCCA-Net和基于2范數(shù)模型結(jié)構(gòu)化剪枝動(dòng)態(tài)調(diào)整CR的方法RCCA-Prune;RCCA-Net可充分挖掘復(fù)信道矩陣實(shí)部虛部所形成的兩通道間的依賴關(guān)系,顯著提高CSI重建質(zhì)量,在保證較高反饋精度的基礎(chǔ)上減少了CSI反饋開(kāi)銷。RCCA-Prune是一種靈活高效的動(dòng)態(tài)調(diào)整CR方案,以2范數(shù)評(píng)估各神經(jīng)元對(duì)最終結(jié)果的貢獻(xiàn)度,依據(jù)CR設(shè)置、通過(guò)模型結(jié)構(gòu)化剪枝刪除對(duì)應(yīng)數(shù)量的神經(jīng)元,不需要對(duì)模型進(jìn)行重復(fù)訓(xùn)練,彌補(bǔ)了當(dāng)前基于DL的CSI反饋模型只能以固定壓縮率進(jìn)行反饋的缺點(diǎn)。從仿真結(jié)果可知,RCCA-Prune在不同CR下均能保持較佳的反饋性能,在不同信道場(chǎng)景下的測(cè)試也顯示RCCA-Prune具有良好的泛化性;且剪枝后的模型大小和參數(shù)量都更少,非常適合在成本和性能受限的用戶設(shè)備中部署使用。本文提出的剪枝動(dòng)態(tài)調(diào)整CR方案十分靈活,可以推廣到其他基于DL的CSI反饋模型中,在CSI反饋量一定的情況下,通過(guò)選擇合適的CR,使系統(tǒng)性能在實(shí)際場(chǎng)景中達(dá)到最優(yōu)。