通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)自動調(diào)制識別*

陳 昊,郭文普,康 凱

(火箭軍工程大學(xué) 作戰(zhàn)保障學(xué)院,西安 710025)

0 引 言

自動調(diào)制識別(Automatic Modulation Recognition,AMR)用于檢測截獲信號的調(diào)制類型,為信息獲取提供前提保證。作為信號檢測和解調(diào)的關(guān)鍵環(huán)節(jié),自動調(diào)制識別在多個領(lǐng)域得到了廣泛應(yīng)用,如頻譜檢測、頻譜感知、認(rèn)知無線電等。

傳統(tǒng)的AMR方法可以分為兩類:基于最大似然的方法[1]和基于特征的方法[2-3]?；谧畲笏迫坏姆椒ㄔ谪惾~斯假設(shè)下通過最大似然方式獲得理論最優(yōu)的識別效果,但需已知噪聲和信道參數(shù)場景?；谔卣鞯姆椒ㄊ紫忍崛⌒盘柼卣?而后利用如決策樹、人工神經(jīng)網(wǎng)絡(luò)及支持向量機(jī)等分類器[4-5]完成分類,但需要用專業(yè)知識設(shè)計(jì)特征,且設(shè)計(jì)的特征不夠具有代表性,極易受噪聲的干擾。

深度學(xué)習(xí)(Deep Learning,DL)已經(jīng)在AMR領(lǐng)域得到了廣泛的探索。文獻(xiàn)[6]首次提出卷積無線電調(diào)制識別網(wǎng)絡(luò),性能優(yōu)于基于專家特征的分類器性能。文獻(xiàn)[7]借鑒圖像處理領(lǐng)域殘差網(wǎng)絡(luò)(Residual Network,ResNet)和密集連接網(wǎng)絡(luò)(Densely Connected Network,Densenet),建立對應(yīng)調(diào)制識別模型,通過跳躍連接來加強(qiáng)不同層之間的特征傳播,并同時引入了一種卷積長短期深度神經(jīng)網(wǎng)絡(luò)模型(Convolutional Long Short-Term Deep Neural Network,CLDNN)。文獻(xiàn)[8-9]通過CNN和GRU(Gate Recurrent Unit,GRU)的有效結(jié)合來提升網(wǎng)絡(luò)模型的特征提取能力。文獻(xiàn)[10]對I/Q數(shù)據(jù)進(jìn)行預(yù)處理得到振幅和相位,再經(jīng)過雙層LSTM進(jìn)行特征提取。文獻(xiàn)[11]將信號的高階累積量、瞬時特征和循環(huán)譜作為輸入,利用CNN和GRU并向網(wǎng)絡(luò)進(jìn)行特征提取。文獻(xiàn)[12]在CNN模型中引入注意力機(jī)制。文獻(xiàn)[13]提出了一種輕量化設(shè)計(jì)方案,從時間和空間的角度有效提取信號特征,減少冗余參數(shù)。但是,上述神經(jīng)網(wǎng)絡(luò)模型均存在不足:涉及的卷積網(wǎng)絡(luò)模塊都是分層疊加的,導(dǎo)致網(wǎng)絡(luò)層的感受野范圍有所受限,特征提取不夠充分,低信噪比條件下自動調(diào)制識別準(zhǔn)確率不高。

文獻(xiàn)[14]提出了一種新的構(gòu)建塊Res2Net,在卷積塊中構(gòu)造分組殘差連接,增加網(wǎng)絡(luò)層的感受野范圍,與利用分層卷積提取特征方法相正交,在參數(shù)數(shù)量和計(jì)算開銷基本不變的條件下特征提取更加細(xì)粒度化,在語音識別[15]、時間序列分析[16]和對象檢測[17]上取得了不錯的應(yīng)用效果。文獻(xiàn)[18]關(guān)注特征通道之間的依賴關(guān)系,提出了新的架構(gòu)單元SENet,通過顯式地建模通道之間的依賴關(guān)系,自適應(yīng)重新校準(zhǔn)通道方向的特征響應(yīng),使用全局信息來選擇性強(qiáng)調(diào)重要特征,抑制不太有用的特征。SENet可易集成到其他網(wǎng)絡(luò)結(jié)構(gòu)中,如SE-ResNet[19]、SENet-TCN[20]等,在參數(shù)少量增加的代價下網(wǎng)絡(luò)模型得到了較好優(yōu)化。文獻(xiàn)[10]和文獻(xiàn)[20]均在識別模型中加入雙層LSTM模塊,可以有效處理序列數(shù)據(jù),提取時域相關(guān)性,取得了較好的識別效果。

本文針對卷積網(wǎng)絡(luò)模塊都是分層疊加的,導(dǎo)致網(wǎng)絡(luò)層的感受野范圍有所受限,特征提取不夠充分,低信噪比條件下自動調(diào)制識別準(zhǔn)確率不高的問題,將SENet模塊作為門控機(jī)制集成到Res2Net模塊中,構(gòu)建得到門控Res2Net模塊,用于替換ResNet模型[7]中的前兩個卷積層,并在卷積網(wǎng)絡(luò)后加入雙層LSTM,利用LSTM對長時序列的記憶有效性對卷積特征進(jìn)行序列建模,綜合提出了通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)自動調(diào)制識別模型。在基準(zhǔn)數(shù)據(jù)集上與相關(guān)模型性能的比較結(jié)果表明,本文所提模型能取得更高的識別準(zhǔn)確率。

1 通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)

本文提出的通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)模型主要由1維卷積層、門控Res2Net模塊、2維卷積層、長短期記憶層和全連接層組成,相關(guān)詳細(xì)參數(shù)如表1所示,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

表1 通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)參數(shù)

圖1 通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)

1維卷積層利用1×1卷積核進(jìn)行特征圖升維,門控Res2Net模塊將輸入特征圖均分成4份,利用在卷積塊中構(gòu)造分層殘差連接的方式提取多尺度特征,對應(yīng)卷積核維度分別是1×3和2×3。在殘差連接處加入SENet作為門控單元,學(xué)習(xí)特征通道之間的關(guān)系,并自適應(yīng)調(diào)整相關(guān)權(quán)重,更新優(yōu)化特征層。經(jīng)過殘差連接后,加強(qiáng)不同層之間的特征傳播,將初始卷積特征與經(jīng)過門控Res2Net模塊后的多尺度特征進(jìn)行融合,而后通過兩層2維卷積層進(jìn)行特征圖降維,改變特征數(shù)據(jù)排序后送入LSTM進(jìn)行特征序列建模,學(xué)習(xí)特征之間的關(guān)聯(lián)性,最后通過維度分為128和11的全連接層進(jìn)行調(diào)制樣式識別。

1.1 Res2Net

在多個尺度上表示特征對于計(jì)算機(jī)視覺任務(wù)具有重要意義。與大多數(shù)卷積網(wǎng)絡(luò)以分層的方式表示多尺度特征不同,圖2所示的Res2Net模塊通過在卷積塊中構(gòu)造分層殘差連接,增加網(wǎng)絡(luò)層的感受野范圍,在更細(xì)粒度的水平上提高了多尺度表示能力。

圖2 Res2Net模塊

作用機(jī)理為:將輸入特征圖分為s組,用xii∈{1,2,…,s}表示,每個特征圖子集空間尺寸相同,ki表示卷積操作,特征子集xi與上一層卷積輸出ki-1()相加后進(jìn)行再卷積ki()。因?yàn)榉謮K殘差卷積操作,促使特征圖在多次卷積后有更大更細(xì)的感受野,有利于全局信息和局部信息的提取與融合。

(1)

1.2 SENet

SENet稱為壓縮與激勵網(wǎng)絡(luò),通過顯式地建模卷積特征通道之間的權(quán)重關(guān)系,從而來提高網(wǎng)絡(luò)產(chǎn)生特征的表示質(zhì)量。SENet模塊結(jié)構(gòu)如圖3所示。

圖3 SENet模塊

其作用機(jī)理是:輸入為C個特征圖,維度為H×W,首先進(jìn)行全局平均池化,此時各特征圖分別對應(yīng)一個權(quán)值;對權(quán)值整體通過Sigmoid函數(shù)進(jìn)行自適應(yīng)更新,將更新權(quán)值與原特征圖進(jìn)行相乘,通過學(xué)習(xí)全局信息來選擇性強(qiáng)調(diào)有用信息特征,抑制不太有用的特征。

由于新的卷積網(wǎng)絡(luò)模型的設(shè)計(jì)與開發(fā)是一項(xiàng)困難的工程任務(wù),通常需要選擇許多新的超參數(shù)和圖層配置,相比之下,SENet模塊結(jié)構(gòu)簡單,可直接應(yīng)用于現(xiàn)有的架構(gòu)中,從而有效提高網(wǎng)絡(luò)性能,并且SENet在參數(shù)規(guī)模上也是輕量級的,只會略微增加模型的復(fù)雜性和計(jì)算負(fù)擔(dān)。因此,本文將SENet與Res2Net模塊進(jìn)行融合,得到門控Res2Net模塊,如圖4所示。

圖4 門控Res2Net

1.3 LSTM

遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)被廣泛用于從時間序列數(shù)據(jù)中學(xué)習(xí)持久性特征。LSTM是一種特殊類型的RNN,它在學(xué)習(xí)長期依賴關(guān)系方面非常有效。LSTM單元結(jié)構(gòu)如圖5所示,由輸入門、遺忘門和輸出門組成,可以在保留重要信息的同時遺忘無關(guān)信息,更好地處理長時間依賴性問題,本文將LSTM用于卷積網(wǎng)絡(luò)層后,對卷積特征進(jìn)行序列建模,提升特征提取的有效性。

2 實(shí)驗(yàn)結(jié)果與分析

先給出實(shí)驗(yàn)數(shù)據(jù)和參數(shù)設(shè)置,然后設(shè)置兩個實(shí)驗(yàn)來評估基于通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)的性能。為確保實(shí)驗(yàn)公平公正,本文對比對象為使用RML2016.10a公開數(shù)據(jù)集進(jìn)行訓(xùn)練的網(wǎng)絡(luò),第一個實(shí)驗(yàn)主要用于評估卷積層替換為門控Res2Net模塊和加上LSTM模塊的有效性,第二個實(shí)驗(yàn)用于將本文所提模型與CLDNN[7]、PET-CGDNN[8]、CGDNet[9]和LSTM[10]在分類準(zhǔn)確率上進(jìn)行對比。

2.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)設(shè)置

為方便對比驗(yàn)證所提模型的性能,本文使用GNU無線電生成的Radio2016.10a作為數(shù)據(jù)集。該數(shù)據(jù)集包含WBFM、AM-DSB、AM-SSB、BPSK、CPFSK、GFSK、4PAM、16QAM、64QAM、QPSK和8PSK共11種常用調(diào)制信號,每種調(diào)制信號信噪比范圍為-20～18 dB,每間隔2 dB生成1 000個樣本,共生成220 000個調(diào)制信號。該數(shù)據(jù)集每個信號長度為128,由實(shí)部I分量和虛部Q分量合并存儲為一個復(fù)數(shù)組,在模擬惡劣的傳播環(huán)境中產(chǎn)生,如高斯白噪聲、多路徑衰落、采樣率偏移、中心頻率偏移等。

將數(shù)據(jù)集內(nèi)各調(diào)制樣式單個信噪比的信號,以6∶2∶2隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集。梯度更新的批處理大小為400,使用Adam優(yōu)化器,交叉熵?fù)p失作為損失函數(shù),如果驗(yàn)證損失在10個時期內(nèi)沒有改善則利用回調(diào)函數(shù)減半學(xué)習(xí)率,如果驗(yàn)證損失在50個時期內(nèi)沒有改善則利用回調(diào)函數(shù)停止訓(xùn)練。所有實(shí)驗(yàn)在單個NVIDIA GeForce GTX1050Ti GPU上運(yùn)行。

2.2 模塊有效性

為探究本文提出卷積模塊替換為門控Res2Net模塊和加入LSTM模塊對網(wǎng)絡(luò)模型識別準(zhǔn)確率的影響,設(shè)置了第一個實(shí)驗(yàn),3個對比對象分別為:對象1是文獻(xiàn)[7]提出的ResNet模型;對象2是在對象1基礎(chǔ)上將前兩個卷積模塊換為門控Res2Net模塊,其中卷積層內(nèi)卷積核數(shù)量及維度保持一致;對象3是在對象2的基礎(chǔ)上,在卷積網(wǎng)絡(luò)后加上雙層LSTM模塊,即為本文提出的通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)。不同模塊組成在不同信噪比下的識別準(zhǔn)確率如圖6所示。

圖6 不同模塊組成下模型識別準(zhǔn)確率

從圖6中可以看出,整體上隨著卷積層替換為門控Res2Net模塊和添加LSTM模塊,模型在各信噪比上識別精度均有一定提升,尤其是替換為門控Res2Net模塊后,相較于ResNet模型在信噪比大于0 dB后有7%～9%的準(zhǔn)確率提升,且原卷積模塊與門控Res2Net模塊兩者參數(shù)量相差不大,說明了門控Res2Net模塊對于特征獲取和調(diào)制識別的有效性。在卷積網(wǎng)絡(luò)后加入雙層LSTM,使得模型較為復(fù)雜,運(yùn)行時間有所增加,但在可接受范圍內(nèi),并且因?yàn)樘砑覮STM模塊,使得卷積層不用直接與全連接層相連,參數(shù)量得以減少,如表2所示。

表2 不同模塊組成下模型運(yùn)行時長及參數(shù)量對比

2.3 不同模型識別準(zhǔn)確率比較

圖7給出了本文所提模型與CLDNN[7]、PET-CGDNN[8]、CGDNet[9]和LSTM[10]在識別準(zhǔn)確率上的對比結(jié)果。

圖7 Radio2016.10a下不同網(wǎng)絡(luò)的識別準(zhǔn)確率

由圖7可知,本文所提網(wǎng)絡(luò)模型在不同信噪比下識別準(zhǔn)確率優(yōu)于其他模型,當(dāng)信噪比大于2 dB時平均識別準(zhǔn)確率在91%以上,在信噪比為12 dB時準(zhǔn)確率達(dá)到92.68%,而其他網(wǎng)絡(luò)最高識別準(zhǔn)確率依次為84.9%(CLDNN),90%(PET-CGDNN),84.2% (CGDNet),90.9%(LSTM)。不同網(wǎng)絡(luò)模型的參數(shù)量和大于0 dB后平均識別準(zhǔn)確率如表3所示。

表3 參數(shù)量和平均識別準(zhǔn)確率對比

由表3可知,本文所提網(wǎng)絡(luò)模型在與傳統(tǒng)CLDNN模型參數(shù)量基本相同的前提下,平均識別準(zhǔn)確率提升了約7%。輕量化模型PET-CGDNN、CGDNet和LSTM通過簡化網(wǎng)絡(luò)結(jié)構(gòu)在降低參數(shù)數(shù)量的同時識別準(zhǔn)確率隨之降低。本文所提通道門控Res2Net網(wǎng)絡(luò)雖然參數(shù)量較大,但在輕量化網(wǎng)絡(luò)模型的基礎(chǔ)上,并非簡單地增加參數(shù)就能獲得更好的識別準(zhǔn)確率,如本文采用的LSTM模型(層數(shù)為2,每層單元數(shù)為128),文獻(xiàn)[10]在不同層數(shù)和不同單元數(shù)下進(jìn)行了對比實(shí)驗(yàn),結(jié)果表明,在網(wǎng)絡(luò)結(jié)構(gòu)固定時,增加每層單元數(shù),即增加用于表征的參數(shù)數(shù)量并不會帶來較大性能提升。如在LSTM模型層數(shù)為2和3時,單層單元數(shù)由128調(diào)整到256,但網(wǎng)絡(luò)模型識別準(zhǔn)確率未有提升。

為進(jìn)一步證明通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)的識別有效性,本文選擇信噪比為4 dB時各網(wǎng)絡(luò)的識別結(jié)果,并以混淆矩陣的形式表示出來,如圖8所示。

圖8 信噪比為4 dB時各網(wǎng)絡(luò)識別混淆矩陣

從混淆矩陣中可以發(fā)現(xiàn),識別錯誤主要在16QAM與64QAM之間和AM-DSB與WBFM之間,原因可能是16QAM和64QAM因在數(shù)字域存在大量重疊星座點(diǎn)而引起混淆,AM-DSB和WBFM兩者均為連續(xù)調(diào)制,均通過模擬音頻信號產(chǎn)生,兩者特征在復(fù)平面上趨于一致。

為進(jìn)一步證明通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)模型的泛化性,將其與CLDNN[7]、PET-CGDNN[8]、CGDNet[9]和LSTM[10]在更大的基準(zhǔn)數(shù)據(jù)集Radio2016.10b下進(jìn)行訓(xùn)練驗(yàn)證,識別準(zhǔn)確率如圖9所示。

從圖9中可以看出,本文所提的通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)模型識別準(zhǔn)確率優(yōu)于其他對比模型,在更大規(guī)模數(shù)據(jù)集下驗(yàn)證了其具有較強(qiáng)的泛化性。

3 結(jié)束語

針對低信噪比下如何提高自動調(diào)制識別準(zhǔn)確率的問題,本文提出了通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)自動調(diào)制識別模型。該模型主要在ResNet模型的基礎(chǔ)上,通過將卷積層替換為門控Res2Net模塊使得特征提取更加細(xì)粒度化,自適應(yīng)調(diào)整特征通道權(quán)重,并在卷積網(wǎng)絡(luò)后加入雙層LSTM對卷積特征進(jìn)行序列建模?；鶞?zhǔn)數(shù)據(jù)集仿真實(shí)驗(yàn)證明,本文提出的網(wǎng)絡(luò)在不同信噪比下識別精度均有一定提升,證實(shí)了引入的多尺度卷積模塊、門控機(jī)制和長短期記憶網(wǎng)絡(luò)的有效性。

但是,本文模型復(fù)雜度和計(jì)算量依然較大,不利于計(jì)算資源受限的邊緣通信設(shè)備應(yīng)用部署,因此,在后續(xù)工作中將圍繞模型輕量化進(jìn)行研究論證。