基于稀疏深度神經(jīng)網(wǎng)絡(luò)的電磁信號調(diào)制識別*

楊小蒙，張 濤，莊建軍，唐 震1b,

(1.南京信息工程大學 a.電子與信息工程學院；b.計算機與軟件學院，南京 210044;2.國防科技大學第六十三研究所，南京 210007)

0 引 言

隨著通信技術(shù)的發(fā)展，調(diào)制方式變的越來越復(fù)雜，用頻設(shè)備不斷增多，這對自動調(diào)制識別技術(shù)提出了新的要求?；谔卣魈崛〉哪Ｊ阶R別越來越受重視，研究者正積極尋找新的特征參數(shù)和設(shè)計更好的分類規(guī)則來達到更好的自動調(diào)制識別性能。目前，常見的特征提取方法大都從時域、頻域等維度提取調(diào)制信號的瞬時統(tǒng)計特征[1]、高階累積量[2-3]和循環(huán)譜等特征[4]，在一定情況下能夠準確識別不同調(diào)制類型的信號，識別速度相對較快，但是需要人工提取特征，選擇哪種特征依賴于人的專業(yè)知識，而且閾值難以確定。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為深度學習的一個分支，憑借其在圖像分類上的優(yōu)越性能，能夠把調(diào)制信號的識別問題轉(zhuǎn)化為圖像分類問題，從圖像中自動提取特征，受到了研究者們的關(guān)注[5-14]。模型剪枝作為模型壓縮中較為核心的方法，它可以清除網(wǎng)絡(luò)中冗余的參數(shù)與計算量。文獻[15]基于權(quán)重修剪網(wǎng)絡(luò)中不重要的連接，在ImageNet數(shù)據(jù)集上，在不損失精度的同時將AlexNet和VGG-16的參數(shù)數(shù)量分別減少了9倍和13倍。文獻[16]對整個層進行修剪，提出一種結(jié)構(gòu)化稀疏學習(Structured Sparsity Learning，SSL)方法來正則化深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)的結(jié)構(gòu)，將20層的ResNet減少到了18層，并把識別率從91.25%提高到了92.60%。

文獻[15]和[16]分別把剪枝對象作用于細粒度的權(quán)重級別和粗粒度的層級別上，雖然減少了模型的資源消耗，但是不能兼具靈活性和通用性。受其啟發(fā)，本文著眼于解決低復(fù)雜度約束條件下電磁調(diào)制信號識別問題，提出了一種基于稀疏深度神經(jīng)網(wǎng)絡(luò)(Sparse Deep Neural Network，SDNN)的電磁信號調(diào)制識別算法，把剪枝對象作用于通道上，而通道級別的剪枝在靈活性和易于實現(xiàn)之間實現(xiàn)了很好的權(quán)衡。實驗結(jié)果表明，選取50%為剪枝率對模型剪枝后，提出的稀疏深度神經(jīng)網(wǎng)絡(luò)能夠有效降低模型存儲和計算成本，在精度損失0.2%的前提下，模型的參數(shù)量減少了72%，每秒浮點運算次數(shù)減少了45%。

1 信號圖像域特征提取

常見的4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM和64QAM等調(diào)制信號的基帶波形為

(1)

式中：g(t)為等效濾波器；v(t)為加性高斯白噪聲；an為調(diào)制信號符號序列。不同調(diào)制信號的信號序列具體設(shè)計如下：

對于ASK類信號，有

an=In+jQn。

(2)

式中：In∈{1，2,…,M-1}，M為調(diào)制進制數(shù)；Qn=0。

對于PSK類信號，有

(3)

對于 QAM 類信號，有

an=In+jQn。

(4)

對調(diào)制信號進行正交解調(diào)獲取I/Q兩路數(shù)據(jù)，繪制出信號星座圖后，以每一信號點為中心，為各點劃定邊長為r的矩形區(qū)域，分別計算星座圖中各信號點在各自矩形區(qū)域的信號點個數(shù)d，也即矩形區(qū)域的密度表征，依據(jù)d的大小為各信號點上色，增強圖像特征。以8PSK為例，星座圖依據(jù)點密度上色示意圖如圖1所示。

圖1 8PSK依據(jù)點密度上色示意圖

在信噪比為0 dB、6 dB以及10 dB的高斯白噪聲下，可得8種信號的數(shù)據(jù)處理效果，如圖2所示。

圖2 不同信噪比噪聲下的信號處理效果

2 稀疏深度神經(jīng)網(wǎng)絡(luò)

AlexNet由Krizhevsky等人在2012年ImageNet競賽中提出，并以顯著優(yōu)勢贏得了比賽冠軍。AlexNet模型整體結(jié)構(gòu)先采用卷積層提取圖片特征，然后采用全連接層對特征分類。與全連接層相比，卷積層采用局部連接和權(quán)值共享的方式進行數(shù)據(jù)傳遞，減少了網(wǎng)絡(luò)的參數(shù)量和計算量。因此，為了減少模型的資源消耗，對AlexNet模型進行改進。首先仍然采用卷積層提取圖片特征。與AlexNet模型不同的是，改進型AlexNet采用卷積層代替全連接層對特征分類。為了進一步加快網(wǎng)絡(luò)訓練速度，在每一卷積層后，ReLu激活函數(shù)前加上批歸一化(Batch Normalization，BN)層。整體結(jié)構(gòu)如圖3所示，其中每個Block層由三部分組成，分別是卷積層、BN層、ReLU激活層。卷積層用于提取圖片特征；BN層用于對特征數(shù)據(jù)歸一化，加快網(wǎng)絡(luò)訓練；ReLU激活層用于加入非線性因素，提高模型的表達能力。

圖3 改進型AlexNet整體結(jié)構(gòu)

模型剪枝是模型壓縮中較為核心的方法，它可以清除網(wǎng)絡(luò)中冗余的參數(shù)與計算量，讓模型更加緊湊高效，而模型稀疏化是一種模型剪枝的有效方法。先前的研究表明，稀疏性可以在不同的級別上實現(xiàn)，例如權(quán)重級別、核級別、通道級別或?qū)蛹墑e。相比于權(quán)重級的實現(xiàn)難度和層級的低靈活性，通道級稀疏性在靈活性和易于實現(xiàn)之間提供了一個很好的折中，它可以應(yīng)用于任何典型的CNN或完全連接的網(wǎng)絡(luò)(將每個神經(jīng)元視為一個通道)。通道級稀疏性為每個通道引入一個縮放因子γ，乘以該通道的輸出；然后，聯(lián)合網(wǎng)絡(luò)權(quán)重和這些縮放因子，并對后者施加稀疏性正則化；最后，修剪那些小縮放因子通道，并微調(diào)被修剪的網(wǎng)絡(luò)。本文以改進型AlexNet為原模型，利用通道級稀疏性剪枝算法對模型進行壓縮，具體流程如圖4所示。

圖4 模型壓縮流程圖

2.1 通道稀疏化

上述改進型AlexNet模型中設(shè)置了BN層，不僅可以加快訓練速度，提高網(wǎng)絡(luò)泛化能力，層中的縮放因子γ也可以用來評估模型通道的重要性。BN層運算公式如下所示：

(5)

如公式(5)所示，縮放因子γ與通道的輸出相乘，所以γ的大小直接影響B(tài)N層輸出的大小。若BN層輸出越小，那么通過激活函數(shù)后的輸出就越接近于0，后續(xù)的輸出均近似0，因此該通道對整體網(wǎng)絡(luò)的增益微乎其微，可以認為縮放因子γ的值近似等于該通道對網(wǎng)絡(luò)的貢獻值。因此可以將BN層的γ參數(shù)作為縮放因子與深度學習網(wǎng)絡(luò)中的每一個通道相關(guān)聯(lián)，評估每一個通道的重要性。

為了讓網(wǎng)絡(luò)自動識別不重要的通道，對縮放因子γ實施稀疏性懲罰，在原來的損失函數(shù)中增加一項關(guān)于γ的正則化，讓縮放因子與網(wǎng)絡(luò)權(quán)重一起被優(yōu)化。公式如下：

(6)

式中：x,y是訓練輸入和目標；W是網(wǎng)絡(luò)中可訓練參數(shù)；g(·)是在縮放因子上的懲罰項；λ是兩項的平衡因子。式(6)中的第一項是訓練損失函數(shù)，第二項是稀疏正則化項。

2.2 剪枝和微調(diào)

通過稀疏正則化訓練后，模型中許多縮放因子都會趨于0。接著按從小到大的順序?qū)s放因子的絕對值排序，然后為整個網(wǎng)絡(luò)所有層設(shè)置剪枝率作為所有縮放因子值的一個比例，剪枝時按照這個比例剪掉網(wǎng)絡(luò)中相應(yīng)的通道。如圖5所示，卷積層卷積核數(shù)目與輸出通道特征圖一一對應(yīng)，虛線矩形框?qū)?yīng)的縮放因子在剪枝范圍內(nèi)，剪枝后，經(jīng)過剔除冗余的卷積核，就可以得到一個較少參數(shù)、運行時占內(nèi)存小、低計算量的緊湊網(wǎng)絡(luò)。

圖5 模型剪枝

經(jīng)過較大規(guī)模的剪枝后，改進型AlexNet模型中各卷積層冗余的通道被剔除，網(wǎng)絡(luò)性能會有所降低。為了恢復(fù)網(wǎng)絡(luò)性能，需要對壓縮后的模型進行微調(diào)(再訓練)。如圖6所示，將上色星座圖輸入剪枝后的模型，調(diào)整網(wǎng)絡(luò)權(quán)重，恢復(fù)因剪枝損失的精度，其中，S(S={s1,s2,…,sn},n=8)為剪枝前各卷積層通道數(shù)集合，Sp(Sp={p1,p2,…,pn},n=8)為剪枝后通道數(shù)集合，pi

圖6 微調(diào)示意圖

3 實驗與評估

實驗選取的8種調(diào)制信號分別是4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM和64QAM，均由Matlab仿真生成。信道環(huán)境是加性高斯白噪聲，信噪比范圍是0～10 dB。數(shù)據(jù)集中，訓練集與測試集的比為7∶3。訓練集每類調(diào)制信號每個信噪比下生成700個樣本，測試集每類調(diào)制信號每個信噪比下生成300個樣本，每個樣本均由10 000個采樣點生成。實驗基于PyTorch深度學習框架構(gòu)建了改進型AlexNet和剪枝模型，選取Adam作為優(yōu)化器，分別對實驗數(shù)據(jù)集進行訓練和測試。為驗證本文提出的SDNN對于調(diào)制信號的識別性能以及資源消耗，實驗主要分兩步：首先，針對不同剪枝率下模型性能有所差別，分析在不同剪枝率下模型對于調(diào)制信號的識別性能和資源消耗，選取合適的剪枝率；然后，為分析本文所提網(wǎng)絡(luò)SDNN對調(diào)制信號的識別性能以及資源消耗，與傳統(tǒng)AlexNet、VGG16模型以及剪枝前的IAlexM模型進行對比分析。

3.1 剪枝率選取

隨著剪枝率的提高，模型參數(shù)量和計算量逐漸減少，與此同時，模型識別率也會下降，剪枝率過小或過大都不能同時兼顧模型資源消耗和識別性能。因此需要選取一個適中的剪枝率。實驗選取10%～90%為剪枝率p范圍，間隔為10%依次對原模型進行剪枝，分析各剪枝率下的模型壓縮情況。如表1所示(p=0代表原模型)，隨著剪枝率的提高，除了作為輸出層不參與剪枝的Conv8外，模型各卷積層通道數(shù)逐漸減少。

剪枝后，對模型進行再訓練(微調(diào))，恢復(fù)模型識別性能。微調(diào)后，為了比較不同剪枝率下的模型識別性能，分別以各剪枝率下的剪枝模型對電磁信號進行訓練和測試，得出不同剪枝率下的整體識別率，評估識別性能。如圖7(b)所示，模型收斂時，隨著剪枝率的提高，模型識別率逐漸降低。剪枝前，原模型的識別率為97%；剪枝后，剪枝率小于50%時模型總體識別率幾乎沒有損失，精度損失約在1%以內(nèi)；但是當剪枝率大于50%時，模型總體識別率下降速度加快，剪枝率為60%時精度損失約3%，剪枝率為70%和80%時精度損失約6%，剪枝率為90%時精度下降嚴重，與原模型將近97%的識別率相差約10%。

表1 改進型AlexNet各卷積層在不同剪枝率下剪枝后的通道數(shù)量

圖7 各剪枝率下剪枝前后整體識別率對比圖

從以上實驗結(jié)果可以發(fā)現(xiàn)，隨著剪枝率的提高，模型通道數(shù)逐漸降低，識別準確率逐漸減少。為了兼顧識別率和壓縮率，選取拐點50%為剪枝率時精度損失不大，且壓縮率較高。

3.2 識別性能分析

由3.1節(jié)實驗分析，選取50%為剪枝率對改進型AlexNet模型IAlexM進行剪枝，并對模型再次訓練，恢復(fù)損失的精度，最終獲得SDNN。為分析本文所提網(wǎng)絡(luò)對于調(diào)制信號的識別性能，首先將調(diào)制信號數(shù)據(jù)集分別輸入AlexNet、VGG16、IAlexM以及SDNN進行對比實驗。四類模型的整體識別率如圖8所示，不同信噪比下的識別率如圖9所示。從整體識別率分析，當各模型收斂時，本文改進模型IAlexM和剪枝后模型SDNN的整體識別率分別是97%和96.8%，而傳統(tǒng)模型AlexNet和VGG16只達到92%，與本文所提模型相比，相差約5%。從不同信噪比下的識別率分析，各模型的識別率隨著信噪比的增加呈現(xiàn)增長的趨勢，而本文所提模型SDNN與IAlexM在不同信噪比下的識別性能都要優(yōu)于傳統(tǒng)的AlexNet和VGG16。由于剪枝后模型性能有所下降，剪枝后的模型SDNN在各信噪比下的識別率與剪枝前的IAlexM模型有細微的差別。

圖8 四類模型的整體識別率

圖9 四類模型在不同信噪比下的識別率

為了進一步分析剪枝后模型對于電磁信號的識別性能，繪制模型分類后的混淆矩陣，如圖10所示，橫軸代表真實標簽，縱軸代表預(yù)測標簽，橫軸與縱軸交叉的部分便是混淆矩陣。圖10中所用測試集每類調(diào)制信號總共1 800個樣本，可以看出，4ASK、BPSK、QPSK、OQPSK調(diào)制信號實現(xiàn)了100%的識別，而16QAM、32QAM和64QAM之間互相產(chǎn)生混淆，并且32QAM與8PSK產(chǎn)生輕微混淆。從以上實驗結(jié)果可以發(fā)現(xiàn)，混淆矩陣中的混淆現(xiàn)象是符合實際的，由于星座圖上色后，不同調(diào)制類型的低階信號區(qū)分度較大，而高階信號相似性強，所以本文所提稀疏深度神經(jīng)網(wǎng)絡(luò)對于ASK、PSK、QAM這三類不同調(diào)制類型的低階信號容易區(qū)分，不易發(fā)生混淆，而對于高階的QAM信號，對于不同階數(shù)的QAM容易發(fā)生混淆。

圖10 50%剪枝率下的模型的分類矩陣

3.3 模型壓縮效果評估

3.1節(jié)實驗驗證了不同剪枝率下模型對于電磁信號的識別性能和模型通道數(shù)變化情況，在選取50%為剪枝率對模型剪枝后，模型識別性能仍然保持一定的精度，總體識別率達到了96.8%，相較于原模型，精度僅損失0.2%。在此基礎(chǔ)上分析模型壓縮效果，定量分析剪枝后模型的資源消耗。從表1中可以發(fā)現(xiàn)，模型剪枝后，除了作為分類輸出的卷積層，其他各卷積層的通道數(shù)都相應(yīng)地減少了一定的比例，本節(jié)單獨抽出50%剪枝率下的通道數(shù)變化情況與原模型進行對比，利用柱狀圖進行可視化呈現(xiàn)，如圖11所示。為進一步分析模型的壓縮效果，將模型通道數(shù)的變化映射到模型的存儲規(guī)模和計算速度變化的情況，以模型參數(shù)量作為模型規(guī)模的評價指標，以每秒浮點運算次數(shù)(FLOPs)作為模型運行速度的評價指標。AlexNet、VGG16、IAlexM和SDNN的資源消耗如表2所示。

圖11 50%剪枝率下剪枝前后卷積層通道數(shù)對比圖

表2 50%剪枝率下模型資源消耗結(jié)果

通過以上實驗結(jié)果可以發(fā)現(xiàn)，本文提出的改進型AlexNet模型IAlexM不管是參數(shù)量還是FLOPs都要低于傳統(tǒng)的AlexNet和VGG16模型，并且利用稀疏化通道剪枝算法修剪了網(wǎng)絡(luò)中冗余的通道后，相較于剪枝前，網(wǎng)絡(luò)中卷積層的參數(shù)量減少了72%，計算量(FLOPs)減少了42%，但是模型識別精度僅僅下降了0.2%，一方面驗證了原模型是過參數(shù)化的，另一方面也驗證了本文剪枝算法的有效性。

4 結(jié) 論

本文提出了一種基于稀疏深度神經(jīng)網(wǎng)絡(luò)的電磁信號調(diào)制識別方法，用于在低復(fù)雜度約束條件下提升電磁信號調(diào)制識別的性能。實驗結(jié)果表明，稀疏深度神經(jīng)網(wǎng)絡(luò)在保證了電磁信號調(diào)制識別精度的前提下能夠有效降低模型參數(shù)和FLOPs。