多注意力機制網絡的調制識別算法

王安義，王煜儀

(西安科技大學 通信與信息工程學院，陜西 西安 710054)

0 引 言

傳統(tǒng)調制識別方法根據識別策略分為兩類[1]，即：基于最大似然理論的識別方法[2]和基于特征提取的識別方法[3]。前者由于計算復雜度高且需依賴大量先驗知識而未廣泛應用。后者通過人工提取專家特征進行分類，瞬時特征[4]、高階累積量[5,6]、小波變換[7]等是常用特征，此類方法存在專家特征提取困難，且在小尺度衰落信道環(huán)境下識別率低等問題。

近年來深度學習憑借自動提取原始數據特征的能力，逐漸應用于調制識別領域[8]。文獻[9]利用卷積神經網絡(convolutional neural networks，CNN)對11種調制信號進行識別，結果表明深度學習方法優(yōu)于傳統(tǒng)的特征提取方法。文獻[10,11]結合CNN和長短期記憶(long short-term memory，LSTM)網絡搭建組合神經網絡模型，同時獲取信號時頻特征提高識別率。文獻[12]提出時空多通道MCLDNN網絡，以同相/正交(in-phase/quadrature，I/Q)序列、同相分量序列和正交分量序列共同作為輸入實現特征互補，融合一維、二維卷積和LSTM提取信號時頻特征。

以上提到的基于深度學習的調制識算法均缺少對神經網絡中關鍵特征的捕捉，導致識別性能難以提升。本文提出多注意力機制網絡的調制識別算法，以I/Q序列和信號瞬時幅度/相位(amplitude/phase, A/P)特征構造雙通道輸入方式，增加特征多樣性。在特征提取方面，加強了網絡對特征向量通道、空間和時間維度上關鍵信息的獲取能力，提高調制信號識別率。與其它算法對比，結果表明本文算法在小尺度衰落信道下具有更好的識別性能。

1 信號模型及預處理

假設信號經過帶有加性高斯白噪聲(AWGN)的多徑衰落信道，且受到頻率偏移、相位偏移等影響，接收信號經數字下變頻后轉換為基帶信號X(n)表示為

(1)

基帶信號X(n)的向量形式為：X=[X(1),X(2),…,X(N)]， 復數形式為：X=I+Q=Re(X)+j·Im(X)，I和Q分別為信號的同相分量和正交分量，Re(X)和Im(X)分別為實部和虛部，X的矩陣形式XI/Q表示為

(2)

調制信號在小尺度衰落信道中受多徑衰落、頻率偏移和相位偏移等因素影響，信號內部發(fā)生嚴重的包絡衰減，導致接收端I/Q序列正交性不足。若僅將I/Q序列作為神經網絡輸入則很難提取出有效的特征。由于不同信號間瞬時幅度/相位特征差異較大，有助于區(qū)分信號，因此本文通過提取信號A/P特征并與I/Q序列共同作為網絡輸入，使網絡實現多尺度感受野，獲取更具區(qū)分度的特征。

幅度特征A(n)提取的具體過程為

(3)

其中，I(n) 和Q(n) 分別代表同相、正交分量的第n個數據。

相位特征P(n) 提取的具體過程為

P(n)=arctan[Q(n)/I(n)]

(4)

獲取的A/P特征矩陣形式XA/P表示為

(5)

2 網絡框架

多注意力機制網絡整體框架如圖1所示，主體上分為頻域特征提取模塊和時域特征提取模塊。首先將經過預處理得到的雙通道數據并行輸入頻域特征提取模塊學習頻域信息，再使融合特征輸入時域特征提取模塊獲取時間特征，最后將特征向量輸入全連接層，使其映射到更易分類的空間進行分類輸出。

圖1 多注意力機制網絡整體框架

2.1 頻域特征提取模塊

為解決深度神經網絡因層數增加導致的網絡退化現象，殘差網絡(residual network，ResNet)[13]利用恒等映射a和殘差映射R(a)相加實現特征向量的空間傳遞，將淺層與深層特征結合，輸出向量表示為O(a)=R(a)+a。 殘差連接不會給網絡模型增加額外參數和計算復雜度，并且可防止網絡梯度消失或梯度爆炸，提高網絡訓練性能。密集連接網絡(densely connected convolutional networks，DenseNet)[14]利用特征重用的方法將每一層的輸出特征都作為后續(xù)層的輸入，提高了網絡分類精度。

本文結合ResNet和DenseNet的優(yōu)點，將ResNet中特征傳遞的思想融入DenseNet構建殘差密集塊(residual dense block，RDB)，并在其中引入改進的卷積注意力機制模塊[15](improved convolutional block attention module，ICBAM)，提升網絡對通道和空間信息的表達能力。將RDB提取的兩路特征向量通過通道連接的方式實現特征融合，再將融合向量送入數量為80，尺寸為2×8的卷積核中學習空間相關性，最后通過Reshape層將特征向量調整二維形式輸入BiGRU層。RDB的網絡結構及具體參數設置如圖2所示。

圖2 殘差密集塊網絡結構

每個RDB包含4個二維卷積層，通過兩組密集連接和一組殘差連接組成。Conv代表卷積層， 128(1,8) 的含義是卷積核數量為128，尺寸為1×8。在密集連接過程中，通道維數量會成倍增加，導致訓練難度加大，因此在RDB的最后一層卷積采用尺寸為1×1的卷積核進行降維，此操作不會增加額外計算參數。每個卷積層的步長均設為1，激活函數選用ReLu函數解決非線性分類問題，采用批量歸一化層(batch normalization，BN)加快訓練收斂速度，提高模型魯棒性。

在每個密集連接后引入改進卷積注意力機制模塊，其網絡結構如圖3所示。ICBAM通過對輸入特征向量的通道和空間區(qū)域分配注意力權重，捕捉信號的關鍵頻域特征。

圖3 ICBAM網絡結構

圖3中通道注意力模塊將輸入特征向量F∈C×T×W(其中C，T，W分別為特征的通道量、高度和寬度)按通道維進行全局最大池化和平均池化，再進行特征映射。傳統(tǒng)CBAM常通過全連接層進行特征映射，產生大量計算參數，增加計算時間。為減少冗余計算，本文選擇一維卷積操作代替全連接層進行特征映射，由于卷積神經網絡具有參數共享的特性，可以減少通道注意力模塊的計算參數，降低計算時間，提高運算效率。特征向量經過一維卷積運算后進行整形相加，再通過激活函數得到通道注意力矩陣MC(F)∈C×1×1。 將MC(F)與輸入特征向量F點乘得到空間注意力模塊的輸入F’。計算通道注意力矩陣的過程為

(6)

(7)

式中：f2D是卷積尺寸為3×3的二維卷積運算。

最后將空間注意力矩陣MS(F) 與F’點乘得到通道-空間注意力輸出特征向量F’’。

2.2 時域特征提取模塊

通信信號不僅在空間上具有相關性，在時間上也具有關聯(lián)，循環(huán)神經網絡(recurrent neural network，RNN)在處理時間序列上具有強大學習能力。門控循環(huán)單元(gated recurrent unit，GRU)作為一種典型的循環(huán)神經網絡，在保證學習性能的同時可減少張量運算，從而降低網絡復雜度，提高網絡收斂速度。GRU主要包括重置門rt和更新門zt(t表示當前時刻)。其中重置門決定前一時刻信息被遺忘的程度，更新門決定保留前一時刻信息的程度，GRU的前向傳播公式如下

rt=σ(Wr[ht-1,xt])

(8)

zt=σ(Wz[ht-1,xt])

(9)

h′t=tanh(Wh[rt⊙ht-1,xt])

(10)

ht=zt⊙h′t+(1-zt)⊙ht-1

(11)

式中：xt表示當前輸入，ht-1和ht分別表示前一時刻和當前時刻的隱藏單元狀態(tài)，h′t表示經重置門處理后的候選狀態(tài)值，Wr，Wz，Wh表示權重參數，⊙表示Hadamard乘積。

BiGRU在處理長序列數據時無法判斷哪些是對信號識別有用的關鍵特征，導致分類精度難以提高。本文將軟注意力機制(soft attention mechanism，SAM)[16]加入BiGRU層后，更加關注時域特征之間的聯(lián)系，對BiGRU每一時間步的輸出隱藏狀態(tài)向量分配注意力權重系數，為區(qū)分度更強的關鍵特征分配更高權重以提高信號識別率。其具體工作原理如下：假設經BiGRU層的輸出序列為H={h1,h2,h3,…,hK-1,hK} (K為輸出的隱藏狀態(tài)向量長度)，q為查詢向量，注意力分布αt的計算過程為

(12)

式中：s(ht,q) 為注意力打分函數，用來計算ht和q的相關性。

考慮到算法復雜度及計算效率，選擇點積模型作為打分函數，其公式如下

(13)

注意力分布αt反映了查詢向量q所對應的第t個輸入向量的受關注程度。最后將αt和BiGRU的輸出ht通過加權平均得到輸出向量

(14)

將經時域特征提取模塊的輸出向量送入全連接層實現特征映射，最后一層采用Softmax作為激活函數，使輸出向量轉換為信號對應每種調制方式的概率，更易進行分類。

3 實驗仿真與分析

實驗硬件平臺配置：i9-9900k中央處理器；RTX2080Ti顯卡；32 GB內存。軟件平臺配置：Matlab2020；Python3.7；Tensorflow1.15.0框架；Keras2.3.1函數庫。

3.1 實驗數據與仿真條件

網絡訓練使用分類交叉熵損失函數計算損失值作為評估標準，其表達式如下

(15)

式中：l為調制方式種類數，y為實際值，y′為預測輸出值。

通過Adam優(yōu)化函數反向更新權值參數。訓練時設置早停機制，以驗證集損失函數為標準，10輪內未下降時則中止訓練。當訓練提前中止或達到最高迭代次數時，保存最優(yōu)網絡模型。

3.2 仿真實驗一

為驗證本文算法中信號預處理操作的有效性，對比本文雙通道I/Q+A/P路輸入與單通道I/Q路輸入方式對網絡識別性能的影響，結果如圖4所示。從圖中可以看出，當信噪比大于-4 dB時，由I/Q+A/P路構建的雙通道輸入方式對9種信號的平均識別率均高于單通道I/Q路輸入方式。原因是小尺度衰落信道下的信號受多徑效應等復雜條件影響，導致I/Q數據的正交性不足，而A/P特征通過反映信號的幅度相位關系，可以輔助神經網絡提取多尺度信號特征。由此驗證本文算法在預處理階段提取A/P特征，構建雙通道輸入的方法對提高小尺度衰落信道下的調制信號識別率是可行的。

圖4 不同通道輸入下的識別率對比

3.3 仿真實驗二

對比引入傳統(tǒng)CBAM+SAM、只引入ICBAM、只引入SAM、不引入注意力機制4種算法，驗證本文提出的多注意力機制網絡對識別性能的影響，圖5為各算法在不同信噪比下對9種信號的平均識別率。

圖5 注意力機制對識別性能的影響

由圖5得出，在低信噪比時各算法識別性能區(qū)分度較小，當信噪比大于0 dB時，識別率差距逐漸增大。其中不引入注意力機制算法的識別率最低，單獨引入ICBAM或SAM后，識別率會有所提升，其原因為ICBAM通過在特征向量的通道與空間區(qū)域之間捕捉重要信息，學習表現力強的頻域特征，同時給低頻噪聲分配小權重，降低其對信號識別的干擾；BiGRU在運算時容易遺忘關鍵信息，而SAM可以對BiGRU不同時刻輸出狀態(tài)進行打分，為關鍵的時間信息分配更高的注意力系數。引入傳統(tǒng)CBAM+SAM算法與本文算法均結合多種注意力機制，在各信噪比下的識別率均表現突出，驗證了多注意力機制的引入有利于網絡識別性能提升。

表1介紹了以上5種算法對9種信號在各信噪比下的平均識別率、最高識別率、測試時間3種性能指標。在平均識別率表現上，只引入ICBAM和只引入SAM算法相比不引入注意力機制算法分別提高了1.08%和1.74%，而傳統(tǒng)CBAM+SAM算法和本文算法分別提高了3.76%和4.22%，且本文算法在最高識別率上達到95.81%，均高于其它算法；測試時間上傳統(tǒng)CBAM+SAM時間最長，原因是傳統(tǒng)CBAM通過全連接層進行特征映射得到通道注意力矩陣，造成計算參數過多，導致算法復雜；而本文算法采用ICBAM，其利用一維卷積替代全連接層，在提高識別性能的同時優(yōu)化了網絡訓練效率。

表1 注意力機制對識別性能指標的影響

3.4 仿真實驗三

為對比不同頻域特征提取模塊網絡架構對識別性能的影響，將雙通道數據輸入至卷積核數量、尺寸、步長相同的CNN、ResNet、DenseNet以及RDB中進行性能測試。

表2和表3分別介紹了4種架構在部分信噪比下的識別率以及總體性能指標。可以得到本文設計的RDB網絡架構單批次訓練時間為0.107 s，與其它3種架構相比，所需訓練時間最長，但在信號的平均識別率和最高識別率上均表現最佳，以識別性能的提升彌補了訓練時間稍長的缺點。

表2 部分信噪比下的識別率

表3 不同網絡架構下識別性能指標

3.5 仿真實驗四

為驗證本文算法對9種調制信號的識別能力，分析了不同信噪比下的調制方式識別率和混淆矩陣，結果如圖6和圖7所示。

圖6 9種信號在不同信噪比下的識別率

圖7 不同信噪比下的混淆矩陣

從圖6可得，9種小尺度衰落信道下的信號識別率均隨信噪比上升而提高，當信噪比大于8 dB時，大多數信號識別率超過90%；8PSK和16PSK兩種信號在信噪比較低時難以準確識別，但隨著信噪比增加，識別率也很快升高；值得注意的是，當信噪比較高時，除16PSK、64QAM兩種信號外，其它信號基本可以準確識別，原因是高階PSK和QAM信號易受噪聲攻擊，尤其在小尺度衰落信道下，信號極易受到干擾導致被淹沒在噪聲中。未來可進一步對此類高階調制信號進行研究，減少噪聲以及小尺度衰落對識別率的影響。

圖7給出了信噪比分別為0 dB、8 dB、18 dB時的混淆矩陣。當處于低信噪比0 dB時，信號受強噪聲影響，如圖7(a)所示，大部分信號無法準確識別，尤其是QPSK、8PSK、16PSK之間的混淆最為嚴重，原因是三者同屬PSK類內調制方式，其本身信號結構及特征較為相近，當經過小尺度衰落信道，信號的正交性以及幅相特征造破壞，導致難以區(qū)分。隨著信噪比上升，信號之間的混淆逐漸減輕，圖7(b)中當信噪比在8 dB時混淆趨于穩(wěn)定，大部分信號識別率均高于90%；圖7(c)信噪比在18 dB時的混淆最小，其誤差主要來自16PSK與8PSK、64QAM與16QAM之間，16PSK約10%的數據被識別為8PSK，64QAM約12%的數據被識別為16QAM，這是由于信號結構相似所導致的。其次可以發(fā)現，低階PSK、QAM以及PAM4、GMSK、CPFSK在小尺度衰落信道下抗干擾性能較好，當信噪比較高時基本可以準確識別。

3.6 仿真實驗五

將本文算法與CNN[9]、CLDNN[10]、雙流CNN-LSTM[11]、MCLDNN[12]的識別性能進行對比，結果如圖8所示。

圖8 本文算法與其它文獻算法識別性能對比

其中CNN和CLDNN算法均為單通道I/Q路輸入方式，二者最高識別率分別為71.42%和82.70%。相較于將單一I/Q序列輸入網絡，多通道輸入的方式取得了更好的識別結果，其中MCLDNN和雙流CNN-LSTM算法的最高識別率分別達到了93.87%和92.83%，且各信噪比下的識別率均高于單路輸入的算法，進一步驗證了多通道輸入的方式能有效提高識別率。本文算法以I/Q序列和信號A/P特征作為輸入，獲取信號的多樣性特征，利用多注意力機制提升網絡學習關鍵特征的能力，所提取的特征具有較強的抗干擾性，在小尺度衰落信道下的識別率取得了明顯優(yōu)勢。當信噪比大于-4 dB時，識別率高于其它文獻算法。當信噪比為0 dB和18 dB時，識別率較其它文獻算法分別提升了約1.8%和2%以上。

4 結束語

本文提出多注意力機制網絡實現對小尺度衰落信道下9種調制信號的識別。通過引入改進卷積注意力機制模塊和軟注意力機制提升網絡對信號關鍵特征的捕捉能力。仿真結果表明，在瑞利衰落為三徑信道的小尺度衰落條件下，信噪比為18 dB時，平均識別率達95.81%。驗證算法所提取的特征能更好地應對小尺度衰落信道干擾，識別性能相比其它深度學習算法更優(yōu)。未來實現調制識別的小樣本無監(jiān)督學習仍有待研究，使算法在少量標簽數據下仍保持較高識別率。