基于深度殘差網(wǎng)絡(luò)的自動(dòng)調(diào)制識(shí)別方法研究

張婷婷，方宇強(qiáng)，韓 蕾

(1. 北京特種工程設(shè)計(jì)研究院，北京 100028;2. 電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，河南 洛陽 471003;3. 航天工程大學(xué)，北京 101416)

1 引言

通信信號(hào)調(diào)制識(shí)別就是通過對(duì)接收信號(hào)進(jìn)行一系列信號(hào)處理后獲取信號(hào)的調(diào)制方式的過程，其基本目的是為選擇合適的信號(hào)解調(diào)器提供依據(jù)；自動(dòng)調(diào)制識(shí)別在軍事和民用領(lǐng)域上均具有一定的意義和價(jià)值，一直是研究的關(guān)注熱點(diǎn)。目前常見的方法多采用“人工特征”結(jié)合統(tǒng)計(jì)模式分類器的方式實(shí)現(xiàn)識(shí)別過程，這種方式對(duì)信號(hào)特征的提取依賴于專家的人工設(shè)計(jì)，如常用的正交變換、高階累積量、延時(shí)相關(guān)和瞬時(shí)自相關(guān)特性等[1]，然后對(duì)特征進(jìn)行分類。近年來，這種“人工特征”的方法在語音、圖像識(shí)別領(lǐng)域已經(jīng)逐漸被以深度學(xué)習(xí)為代表的自動(dòng)特征學(xué)習(xí)或表示學(xué)習(xí)方法所取代，基于數(shù)據(jù)本身，利用深度神經(jīng)網(wǎng)絡(luò)得到特征表示和分類的端到端模型已經(jīng)成為發(fā)展的趨勢(shì)[2]。而今年來利用深層神經(jīng)網(wǎng)絡(luò)對(duì)自動(dòng)調(diào)制識(shí)別的研究也逐漸興起，如文獻(xiàn)[3-6]采用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了調(diào)制方式的識(shí)別并得到了較好的識(shí)別效果。但是從遞歸、卷積等結(jié)構(gòu)多角度的考慮電磁信號(hào)序列表示問題的研究相對(duì)較少。為此，本文針對(duì)信號(hào)調(diào)制識(shí)別的深層神經(jīng)網(wǎng)絡(luò)方法開展研究，對(duì)序列信號(hào)表示的遞歸神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等不同網(wǎng)絡(luò)結(jié)構(gòu)的表示能力進(jìn)行研究，并提出基于雙向GRU網(wǎng)絡(luò)和深度殘差網(wǎng)絡(luò)的自動(dòng)調(diào)制識(shí)別方法。在建立的包含9種不同調(diào)制模式的仿真信號(hào)數(shù)據(jù)集上，對(duì)不同算法進(jìn)行了對(duì)比分析，實(shí)驗(yàn)結(jié)果表明了提出方法的有效性，為電磁信號(hào)調(diào)制識(shí)別問題提供了新的數(shù)據(jù)驅(qū)動(dòng)解決思路。

2 基本方法

該部分首先描述通信類信號(hào)調(diào)制識(shí)別的數(shù)據(jù)仿真建模方法，然后分別對(duì)提出的基于雙向GRU和深度殘差卷積網(wǎng)絡(luò)的自動(dòng)調(diào)制識(shí)別方法進(jìn)行描述。

2.1 通信類電磁信號(hào)調(diào)制模式仿真

實(shí)現(xiàn)端到端的識(shí)別方案，首先就要求從數(shù)據(jù)出發(fā)，積累一定的數(shù)據(jù)以滿足模型學(xué)習(xí)的要求，從足夠的數(shù)據(jù)中挖掘數(shù)據(jù)特征的表示方式。為此本文首先利用仿真建模方式建立相應(yīng)的數(shù)據(jù)集。

考慮加性高斯白噪聲AWGN信道下的單信號(hào)調(diào)制識(shí)別問題是調(diào)制識(shí)別研究的基礎(chǔ)，因此，針對(duì)AWGN信道下的單信號(hào)調(diào)制識(shí)別應(yīng)用場(chǎng)景，建立信噪比環(huán)境不理想情況下的不同調(diào)制方式數(shù)據(jù)集。

AWGN信道下接收信號(hào)的數(shù)學(xué)模型為

y(t)=s(t)+n(t)

(1)

表1 仿真參數(shù)設(shè)置

其中生成的信號(hào)如圖1所示。

圖1 AWGN信道不同調(diào)制樣式信號(hào)仿真結(jié)果

2.2 自動(dòng)調(diào)制識(shí)別的深層神經(jīng)網(wǎng)絡(luò)

2.2.1 基于雙向GRU神經(jīng)網(wǎng)絡(luò)的調(diào)制識(shí)別

在語音和序列信號(hào)處理領(lǐng)域中，遞歸神經(jīng)網(wǎng)絡(luò)RNN是一種常用的序列建模網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用遞歸和權(quán)值共享的方式實(shí)現(xiàn)序列數(shù)據(jù)的建模。借鑒RNN的基本思想，本文建立一種多層雙向GRU網(wǎng)絡(luò)模型來實(shí)現(xiàn)信號(hào)調(diào)制樣式識(shí)別任務(wù)。門限遞歸網(wǎng)絡(luò)(Gated Recurrent Network)是一種改進(jìn)的RNN模型[7]，引入了門限機(jī)制來克服訓(xùn)練過程中長(zhǎng)記憶模型的梯度消失，同時(shí)門限單元的引入對(duì)序列數(shù)據(jù)的噪聲項(xiàng)有一定的抑制作用，因此在本文算法中采用GRU作為基礎(chǔ)模型。本文提出的多層GRU具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，模型由兩部分組成，其中編碼器模塊由一個(gè)輸入層、兩個(gè)GRU隱藏層和一個(gè)全連接層組成。為了使訓(xùn)練模型更精確，在GRU隱藏層中采用雙向結(jié)構(gòu)。此外，編碼器后采用兩個(gè)全連接層對(duì)GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以提取良好的特征和識(shí)別結(jié)果。

圖2 多層雙向GRU網(wǎng)絡(luò)模型示意圖

2.2.2 基于深度殘差卷積網(wǎng)絡(luò)的調(diào)制識(shí)別

利用1D卷積同樣可以建立局部相關(guān)性，并可以通過增加網(wǎng)絡(luò)層數(shù)來擴(kuò)大感受野的范圍。為此，論文分別采用了多層感知器(MLP)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行自動(dòng)調(diào)制識(shí)別并進(jìn)一步提出了針對(duì)調(diào)制識(shí)別的深度殘差卷積網(wǎng)絡(luò)。

采用的多層感知器結(jié)構(gòu)中每一層均采用全連接方式進(jìn)行傳輸，ReLU作為隱層的非線性單元，輸入為截取的4096長(zhǎng)度信號(hào)，輸出為9類調(diào)制方式。

進(jìn)一步，設(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行測(cè)試，結(jié)構(gòu)如下圖3所示。該網(wǎng)絡(luò)結(jié)構(gòu)包含7層，分別采用1*8、1*5和1*3的卷積核進(jìn)行特征提取，并在最后一層利用平均池化和全連接最為最終輸出。訓(xùn)練時(shí)采用多分類交叉熵和Adam優(yōu)化器進(jìn)行模型優(yōu)化。

圖3 基于卷積神經(jīng)網(wǎng)絡(luò)調(diào)制識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

最后，借鑒殘差網(wǎng)絡(luò)在圖像識(shí)別中的成功應(yīng)用[8]，本文針對(duì)調(diào)制方式識(shí)別設(shè)計(jì)了一種殘差網(wǎng)絡(luò)結(jié)構(gòu)模型，該模型如圖4所示。模型包含三個(gè)BLOCK，每一BLOCK由1*8、1*5和1*3的卷積核構(gòu)成，同時(shí)由于層數(shù)的增加，為了避免訓(xùn)練中的梯度消失問題，BLOCK中包含了Skip Connect模塊來實(shí)現(xiàn)訓(xùn)練過程中殘差的傳遞，最后一層利用平均池化和全連接最為最終輸出進(jìn)行分類。訓(xùn)練時(shí)采用多分類交叉熵和Adam優(yōu)化器進(jìn)行模型優(yōu)化。該網(wǎng)絡(luò)結(jié)構(gòu)模型相比MLP和CNN而言層數(shù)更加深，針對(duì)電磁序列信號(hào)具備更好的序列特征表達(dá)能力。但由于每一個(gè)BLOCK的卷積核相對(duì)較少，參數(shù)量沒有MLP和CNN多，因此具備較高的計(jì)算效率。

圖4 提出的深度殘差網(wǎng)絡(luò)調(diào)制識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)分析

依據(jù)2.1節(jié)的電磁調(diào)制信號(hào)生成方式，本文建立生成了9類典型的數(shù)字通信信號(hào)作為實(shí)驗(yàn)對(duì)象。實(shí)驗(yàn)驗(yàn)證中輸入為截取的4096長(zhǎng)度信號(hào)，輸出為9類調(diào)制方式進(jìn)行識(shí)別。在訓(xùn)練中隨機(jī)生成5000個(gè)噪聲強(qiáng)度為5dB的數(shù)據(jù)集，并選取其中的20%作為測(cè)試數(shù)據(jù)集，剩下的80%作為訓(xùn)練數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。以平均絕對(duì)誤差來評(píng)價(jià)訓(xùn)練結(jié)果。

3.1 雙向GRU神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果分析

提出的雙向GRU調(diào)制識(shí)別網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，訓(xùn)練過程如圖5所示，模型對(duì)這9類調(diào)制方式識(shí)別性能在90.45%，同時(shí)將網(wǎng)絡(luò)最后一層特征進(jìn)行2維空間的可視化，可以發(fā)現(xiàn)特征具備一定區(qū)分度和判別性，實(shí)現(xiàn)了較好的數(shù)據(jù)低維特征提取效果。但是GRU雖然能夠達(dá)到一定的識(shí)別率，但還存在以下不足：面對(duì)4096長(zhǎng)度的序列建摸中，GRU的在處理較長(zhǎng)序列信號(hào)時(shí)訓(xùn)練顯存開銷巨大，訓(xùn)練耗時(shí)且很難達(dá)到最優(yōu)解；另一方面，GRU層數(shù)增加時(shí)，模型的訓(xùn)練難度就會(huì)增加，因此該模型欠缺對(duì)更大規(guī)模數(shù)據(jù)和更多樣式數(shù)據(jù)的表示能力。

圖5 基于雙向GRU網(wǎng)絡(luò)的調(diào)制識(shí)別訓(xùn)練

3.2 深度殘差卷積網(wǎng)絡(luò)的自動(dòng)調(diào)制識(shí)別實(shí)驗(yàn)

為了對(duì)比提出的殘差卷積網(wǎng)絡(luò)模型的效果，首先對(duì)MLP模型進(jìn)行訓(xùn)練和分類效果測(cè)試，9類的平均識(shí)別準(zhǔn)確率僅為76%?？梢哉f全連接網(wǎng)絡(luò)一方面參數(shù)量大，同時(shí)識(shí)別效果精度一般。其次，選取針對(duì)調(diào)制方式識(shí)別的CNN網(wǎng)絡(luò)結(jié)構(gòu)(結(jié)構(gòu)圖3所示)。從圖6上圖中可以看出，訓(xùn)練的損失函數(shù)不斷下降，相比MLP該結(jié)構(gòu)識(shí)別效果更好，識(shí)別準(zhǔn)確率可以達(dá)到81%，同時(shí)具備更少的參數(shù)量。

圖6 提出的卷積網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)調(diào)制識(shí)別結(jié)果對(duì)比圖

基于提出的殘差網(wǎng)絡(luò)模型，進(jìn)行調(diào)制樣式識(shí)別的實(shí)驗(yàn)，同樣的實(shí)驗(yàn)設(shè)置下，該網(wǎng)絡(luò)識(shí)別結(jié)果如圖6所示?？梢钥闯?，由于采用了殘差模塊使得訓(xùn)練曲線快速收斂，驗(yàn)證集合精度也不斷下降，9類的平均識(shí)別率達(dá)到96%，明顯高于MLP和基本的CNN模型。通過對(duì)三種1D卷積深層網(wǎng)絡(luò)模型的建立和對(duì)比，發(fā)現(xiàn)提出的殘差網(wǎng)絡(luò)調(diào)制識(shí)別模型可以較好的完成識(shí)別任務(wù)。

4 結(jié)論

本文利用遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)電磁信號(hào)序列進(jìn)行表示，提出了基于多層雙向GRU網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)，從一維空間卷積表示序列的角度思考，提出了基于深度殘差卷積網(wǎng)絡(luò)的調(diào)制識(shí)別方法。利用建立的調(diào)制方式仿真數(shù)據(jù)集，對(duì)提出的方法與典型神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明了本文提出方法具備更高的識(shí)別準(zhǔn)確率和更好的特征表示能力。未來可以進(jìn)一步考慮模型壓縮和剪枝的方法，再保證準(zhǔn)確率的同時(shí)提高計(jì)算效率。