基于殘差生成對抗網(wǎng)絡(luò)的調(diào)制識別算法

秦博偉, 蔣 磊, 許 華, 齊子森

(空軍工程大學信息與導航學院, 陜西 西安 710077)

0 引 言

通信信號的自動調(diào)制分類識別(automatic modulation classification, AMC)是認知無線電系統(tǒng)的關(guān)鍵技術(shù)之一,在非協(xié)作通信系統(tǒng)條件下,接收端在信號調(diào)制信息未知的情況下能否快速準確地判別接收信號的調(diào)制樣式,是后續(xù)對信號進行解調(diào)的關(guān)鍵前提。復雜電磁環(huán)境下,AMC技術(shù)在戰(zhàn)場偵察、信號參數(shù)估計和頻譜監(jiān)測等方面都發(fā)揮重要作用。

調(diào)制識別技術(shù)發(fā)展至今,無論是基于人工設(shè)計特征的傳統(tǒng)方法還是基于深度學習的算法均已取得了豐碩的研究成果。傳統(tǒng)方法方面,文獻[3-5]通過構(gòu)造不同似然函數(shù)來實現(xiàn)信號的調(diào)制分類,文獻[6-8]利用信號的循環(huán)譜特征來區(qū)分不同調(diào)制方式的信號,文獻[9-11]利用信號的高階累積量實現(xiàn)信號的調(diào)制方式識別。深度學習算法方面,文獻[12-14]分別利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)和殘差網(wǎng)絡(luò)(residual network, Resnet)完成了對11種調(diào)制信號的分類識別,并且使用監(jiān)督學習思想建立調(diào)制信號端到端的識別模型。文獻[15]將自編碼器和CNN結(jié)合,實現(xiàn)對數(shù)據(jù)的降維處理,一定程度上降低了算法復雜度。FAN等人提出了一種聯(lián)合噪聲估計的調(diào)制識別算法,該算法同時將原始信號數(shù)據(jù)和信噪比作為神經(jīng)網(wǎng)絡(luò)的輸入,仿真結(jié)果表明這種算法在不同信噪比、不同頻偏下的識別準確率已經(jīng)接近理論識別準確率的上限。Qi等人設(shè)計了一種多模特征匹配殘差網(wǎng)絡(luò),大樣本條件下對調(diào)制信號的識別準確率在10 dB可以達到94%。文獻[18]從數(shù)據(jù)生成的角度出發(fā),首次將生成式對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)應用于數(shù)據(jù)的分類識別。Bu等人則將GAN引入到遷移學習中,利用GAN生成的虛假數(shù)據(jù)來訓練網(wǎng)絡(luò),最后遷移到真實數(shù)據(jù)的調(diào)制樣式識別。

傳統(tǒng)調(diào)制識別方法依賴人工設(shè)計特征、可識別的信號種類較少、網(wǎng)絡(luò)泛化能力較弱;而基于深度學習的調(diào)制識別算法往往需要利用大量的標簽數(shù)據(jù)來訓練網(wǎng)絡(luò)、算法復雜度較高。針對上述問題,本文提出一種基于殘差GAN(Residual GAN, Res-GAN)的調(diào)制識別算法,首先生成網(wǎng)絡(luò)學習不同分布域數(shù)據(jù)的特征信息,通過噪聲生成高質(zhì)量的虛假數(shù)據(jù)來擴充數(shù)據(jù)集;其次設(shè)計了一種由新殘差單元組成的Resnet作為判別網(wǎng)絡(luò),有效提升了網(wǎng)絡(luò)的特征提取能力,更好地區(qū)分相似信號。實驗證明,本文提出的算法在小樣本條件下識別準確率顯著提升，模型收斂速度加快,算法復雜度明顯降低。

1 Res-GAN

1.1 網(wǎng)絡(luò)模型設(shè)計

網(wǎng)絡(luò)深度不僅決定了網(wǎng)絡(luò)提取信號特征的復雜性,而且會影響模型整體性能,網(wǎng)絡(luò)層的數(shù)量堆積可以豐富特征級別,層堆疊的方式可以獲得信號高維特征空間的參量,但是由于深層網(wǎng)絡(luò)反向傳播時,層數(shù)堆積的累積效應會造成梯度消失或梯度爆炸,導致深層網(wǎng)絡(luò)性能退化。因此需要合理選擇網(wǎng)絡(luò)深度使模型的整體性能達到最佳。CNN可以對信息進行較為廣泛的特征提取,而Resnet則被證實在信號的細微特征提取和改善網(wǎng)絡(luò)梯度訓練方面具有很好的效果,因此本文算法的網(wǎng)絡(luò)模型用CNN作為生成器(generator,G)網(wǎng)絡(luò),用新殘差單元組成的Resnet作為判別器(discriminator,D)網(wǎng)絡(luò)。

為了達到網(wǎng)絡(luò)生成虛假數(shù)據(jù)并實現(xiàn)信號分類的目的,將網(wǎng)絡(luò)輸出層修改為兩部分:判別數(shù)據(jù)的真假屬性和類別屬性。根據(jù)G、D網(wǎng)絡(luò)間的邏輯關(guān)系,Res-GAN結(jié)構(gòu)如圖1所示。

圖1 Res-GAN結(jié)構(gòu)

G輸入為噪聲、輸出為虛假數(shù)據(jù),D輸入為無標簽數(shù)據(jù)、有標簽數(shù)據(jù)和虛假數(shù)據(jù),輸出為兩部分:真假分類器判定虛假數(shù)據(jù)與無標簽數(shù)據(jù)的相似度,類別分類器判定有標簽數(shù)據(jù)的類別屬性。通過D的輸出結(jié)果分別訓練G和D,當訓練一方時,固定另一方的參數(shù)和網(wǎng)絡(luò)權(quán)值,從而實現(xiàn)兩者之間對抗訓練、互相提高的目的。

組成D網(wǎng)絡(luò)的新殘差單元結(jié)構(gòu)如圖2所示,利用Leakyrelu作為隱藏層激活函數(shù)并去除池化層,一方面較好地保留了初始信息量,另一方面在執(zhí)行反向傳播過程中對輸入小于零的部分也可以計算得到梯度(而不是像ReLU一樣值為0),更好地實現(xiàn)了網(wǎng)絡(luò)參數(shù)和偏置項的最優(yōu)化更新。Leakyrelu表達式為

圖2 殘差單元的網(wǎng)絡(luò)結(jié)構(gòu)

(1)

式中:表示神經(jīng)網(wǎng)絡(luò)某一層的輸入數(shù)據(jù)；為(0,1)之間的一個常數(shù)。

(2)

式中:代表神經(jīng)網(wǎng)絡(luò)第層的輸入數(shù)據(jù)；代表第層的輸入數(shù)據(jù)；(·)代表直接映射;(·)代表殘差部分;(·)代表激活函數(shù);代表卷積操作。假設(shè)本文的Resnet存在個殘差單元,則式(2)變?yōu)?/p>

(3)

式中：=1,2,…,-1。

根據(jù)梯度下降算法中使用導數(shù)的鏈式法則,損失函數(shù)關(guān)于的梯度可以表示為

(4)

從式(4)中可以得出本文Resnet的兩個屬性:

(2) ??表示層的梯度可以直接傳遞到任何一個比其淺的層。

1.2 損失函數(shù)

(5)

為了簡化算法復雜度,將輸出向量擴展為+1維向量,第+1維向量用來判定無標簽數(shù)據(jù)的訓練情況,由于只需要判定數(shù)據(jù)的真假性,因此第+1維向量可以被判定為前個向量中的任意一個類別,這樣本文的損失函數(shù)表達如下所示:

(6)

式中：和分別代表監(jiān)督學習下的損失函數(shù)和無監(jiān)督學習下的損失函數(shù)；′代表殘差判別器映射的可微函數(shù)；是求期望，表示標簽數(shù)據(jù)被判定為第維向量(=1,2,…,)；表示無標簽數(shù)據(jù)被判定為第+1維向量；表示生成的虛假數(shù)據(jù)被判定真實數(shù)據(jù)。目標函數(shù)為最小化,假設(shè)輸入數(shù)據(jù)服從～c()分布,則目標函數(shù)為

min=
min [exp(())+exp(+1())]=
c()(=,)(?<+1)+c()()

(7)

式中:c()意為信號總是服從于同一種分布。

2 基于Res-GAN的調(diào)制識別算法

2.1 網(wǎng)絡(luò)參數(shù)設(shè)置

考慮到本文設(shè)定的小樣本條件,參照文獻[13]對于網(wǎng)絡(luò)層數(shù)的選擇標準,本文通過大量對比實驗得出G網(wǎng)絡(luò)選擇3層卷積結(jié)構(gòu),D網(wǎng)絡(luò)選擇4個殘差單元,殘差單元選擇3層卷積結(jié)構(gòu)時網(wǎng)絡(luò)的性能最好。圖3和圖4分別為殘差單元和G、D網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)圖。圖4中,zeropadding(·)為零填充。

圖3 殘差單元的結(jié)構(gòu)參數(shù)

圖4 G、D網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)

2.2 算法實現(xiàn)

基于Res-GAN的調(diào)制識別算法實現(xiàn)分為訓練和測試兩個階段,訓練階段G和D交替訓練,最終網(wǎng)絡(luò)的收斂結(jié)果為G生成的虛假數(shù)據(jù)與真實數(shù)據(jù)相似度最高,D則可以準確地分辨出信號的調(diào)制樣式。測試階段則是為了進一步檢驗網(wǎng)絡(luò)的性能。Res-GAN算法的具體步驟如下所示。

算法 1 Res-GAN算法輸入 噪聲、調(diào)制信號數(shù)據(jù)集。輸出 生成數(shù)據(jù)的真假概率、分成各個類別概率。1. 初始化2. 設(shè)置Adam,epoch,Dropout2.1 利用服從同一分布的噪聲信息生成L個100維的噪聲向量{z1,z2,…,zm}2.2 將噪聲向量通過G生成L個無標簽虛假樣本{x1,x2,…,xm}2.3 將步驟2.2中L個無標簽虛假樣本分別送入G網(wǎng)絡(luò)和殘差判別網(wǎng)絡(luò)中執(zhí)行梯度下降訓練2.4 設(shè)置終止條件2.5 保存訓練好的G網(wǎng)絡(luò)和殘差判別網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)和網(wǎng)絡(luò)權(quán)重2.6 讀取m個帶標簽真實數(shù)據(jù),通過G網(wǎng)絡(luò)生成等量的虛假樣本2.7 將2m個帶標簽數(shù)據(jù)送入G網(wǎng)絡(luò)和殘差判別網(wǎng)絡(luò)中,導入步驟2.5中保存的網(wǎng)絡(luò)繼續(xù)執(zhí)行梯度下降訓練2.8 設(shè)置終止條件2.9 保存網(wǎng)絡(luò)模型和權(quán)重3. 輸出訓練分類結(jié)果4. 讀取q個帶標簽數(shù)據(jù)作為測試數(shù)據(jù)5. 讀取步驟2中保存的網(wǎng)絡(luò)模型,進行網(wǎng)絡(luò)測試,輸出測試結(jié)果

殘差單元和G、D網(wǎng)絡(luò)分別去除了批量歸一化層和池化層,添加零填充層并且采用步幅為1的非對稱遞減小卷積核,這樣選擇的理論依據(jù)如下:

(1)去除批量歸一化層和池化層可以最大限度地保留信號的原始信息。

(2)添加零填充層可以增大感受野范圍,步幅為1的非對稱卷積有助于提取邊緣特征信息。

(3)遞減小卷積核可以提取信號的不同層次特征,明顯減少網(wǎng)絡(luò)參數(shù)和降低算法復雜度。

3 實驗仿真與結(jié)果分析

3.1 仿真環(huán)境及數(shù)據(jù)集

本文的網(wǎng)絡(luò)模型訓練均使用Python的Keras環(huán)境,配置為Nvidia GTX 1650 GPU,借助Tensorflow后端進行訓練,調(diào)制信號數(shù)據(jù)集采用Deepsig公開調(diào)制識別數(shù)據(jù)集RML 2016.10b,表1為本文采用的數(shù)據(jù)集信息。調(diào)制樣式選擇10種常見的模擬調(diào)制和數(shù)字調(diào)制樣式，分別為二進制相移鍵控(binary phase shift keying, BPSK)、四進制相移鍵控(quadrature phase shift keying, QPSK)、八進制相移鍵控(8 phase shift keying, 8PSK)、高斯頻移鍵控(Gaussian frequency shift keying, GFSK)、連續(xù)相位頻移鍵控(continuous phase frequency shift keying, CPFSK)、四連續(xù)脈沖振幅調(diào)制(4-level pulse amplitude modulation, PAM4)、16種符號正交振幅調(diào)制(16 quadrature amplitude modulation, QAM16)、64種符號正交振幅調(diào)制(64 quadrature amplitude modulation, QAM64),雙邊帶調(diào)幅(amplitude modulation double side band, AM-DSB)和寬帶調(diào)頻(wide band frequency modulation, WBFW)。每種調(diào)制樣式采樣128個點并選擇I/Q兩路信號，每2 dB為一個信噪比區(qū)間。

表1 調(diào)制信號數(shù)據(jù)集

3.2 實驗一:網(wǎng)絡(luò)初始參數(shù)設(shè)置

根據(jù)3通道原則,將數(shù)據(jù)維度由(2,128)增加為(2,128,1),因為數(shù)據(jù)集信號已經(jīng)進行歸一化,所以直接利用服從(0,1)高斯分布噪聲進行擬合數(shù)據(jù),訓練輪數(shù)設(shè)置為90個epoch。

本文通過大量實驗對比了網(wǎng)絡(luò)層數(shù)、不同的梯度優(yōu)化算法和隱藏層激活函數(shù)對網(wǎng)絡(luò)性能的影響。網(wǎng)絡(luò)層數(shù)方面,用代表殘差單元的卷積層個數(shù),用代表D網(wǎng)絡(luò)殘差單元的個數(shù),分別對比和不同取值下的網(wǎng)絡(luò)性能,實驗結(jié)果如圖5所示。

圖5 不同網(wǎng)絡(luò)層數(shù)結(jié)果對比

從圖5中可以得出殘差單元為3層卷積結(jié)構(gòu)、D網(wǎng)絡(luò)選取4個殘差單元可以最大限度實現(xiàn)網(wǎng)絡(luò)模型的最優(yōu)化。

為證明本文選擇的梯度下降算法的優(yōu)勢，對比隨機梯度下降(stochastic gradient descent，SGD)算法、動量梯度下降(momentum gradient descent，Momentum)算法、微分加權(quán)平均(root mean square prop，RMSProp)算法和自適應估計(adaptive moment estimation，Adam)算法。不同梯度優(yōu)化算法結(jié)果對比圖如6所示。

圖6 不同梯度優(yōu)化算法結(jié)果對比

Adam梯度優(yōu)化算法相比較于其他3種算法,低信噪比下收斂速度較快、高信噪比下穩(wěn)定性強,算法適應性好。具體原因為Adam優(yōu)化算法采用一階矩和二階矩分別對加權(quán)后的梯度進行誤差校正。同時由于網(wǎng)絡(luò)測試時使用的樣本數(shù)量較少,因此曲線會呈現(xiàn)非單調(diào)的波動趨勢。

當改變Adam學習率的默認設(shè)置時,發(fā)現(xiàn)網(wǎng)絡(luò)無法訓練,所以Adam學習率設(shè)置為默認值0.000 2。結(jié)合Leakyrelu表達式,分別對比取不同數(shù)值和不同激活函數(shù)下的網(wǎng)絡(luò)性能,實驗結(jié)果如圖7和圖8所示。

圖7 Leakyrelu不同參數(shù)下的結(jié)果

圖8 不同激活函數(shù)結(jié)果對比

結(jié)合圖7和圖8結(jié)果,Leakyrelu中參數(shù)值取0.25時網(wǎng)絡(luò)性能最好,相比較另外兩種激活函數(shù)收斂更快,識別準確率提升2%～4%。除此之外,在基于Adam優(yōu)化算法的前提下還通過大量實驗對比了不同Batch-size、Dropout和Adam參數(shù)設(shè)置下的網(wǎng)絡(luò)性能,部分實驗結(jié)果如表2所示。

表2 不同參數(shù)下的網(wǎng)絡(luò)性能對比

綜合上述實驗結(jié)果,Res-GAN算法選擇Adam梯度優(yōu)化算法(學習率設(shè)置為0.000 2,第一指數(shù)衰減率設(shè)置為0.5),激活函數(shù)選擇Leakyrelu(=0.25),Dropout設(shè)置為0.05, Batch-size設(shè)置為64。對比實驗結(jié)果,發(fā)現(xiàn)不同的初始化參數(shù)對模型性能還是有一定影響(準確率浮動范圍為3%～5%)。由此得出通過實驗優(yōu)選網(wǎng)絡(luò)模型的初始化參數(shù)集合是必要的。

3.3 實驗二:調(diào)制信號分類識別

按照實驗一的網(wǎng)絡(luò)參數(shù)初始值設(shè)定和表1的具體算法步驟,將(-4～18 dB)信噪比下的每種信號分別隨機選取660,1 800,3 600,7 200,15 000,30 000,60 000個標簽數(shù)據(jù)(取值),取86 400,取500,將選取后的數(shù)據(jù)按照8∶1∶1比例劃分為訓練集、驗證集和測試集進行。選取模型最優(yōu)化的結(jié)果,圖9為損失函數(shù)曲線,圖10為網(wǎng)絡(luò)測試后的混淆矩陣結(jié)果。Res-GAN算法訓練階段先訓練D網(wǎng)絡(luò),從圖9(a)可以看出損失函數(shù)曲線總體保持平穩(wěn)下降趨勢,在60個epoch以后驗證集已經(jīng)達到收斂狀態(tài)。D網(wǎng)絡(luò)訓練結(jié)束后將參數(shù)固定,接著訓練G網(wǎng)絡(luò),由圖9(b)的損失函數(shù)曲線看出驗證集和訓練集擬合程度較高,網(wǎng)絡(luò)訓練沒有出現(xiàn)過擬合問題。

圖9 損失函數(shù)曲線

圖10 混淆矩陣結(jié)果

從網(wǎng)絡(luò)測試后的混淆矩陣圖可以看出,Res-GAN算法在信噪比SNR=0 dB時識別準確率可以達到91%,在SNR=18 dB時識別準確率可以達到98%。除WBFM和AM-DSB以外的信號均可以達到精準識別。由于原始數(shù)據(jù)集中兩種信號的幅值圖相似程度較高,因此會出現(xiàn)識別混淆的情況。

3.4 實驗三:對比實驗

為了充分說明本文設(shè)計的殘差單元可以更好地提取信號的多層維度信息，更好地區(qū)分調(diào)制信號，將Res-GAN算法分別對比文獻[14]設(shè)計的卷積長短時全連接網(wǎng)絡(luò)(convolutional long short-term memory fully connected deep neural networks, CLDNN)模型、文獻[15]設(shè)計的自編碼卷積神經(jīng)網(wǎng)絡(luò)(automatic convolutional neural networks，AUCNN)模型、文獻[17]提出的多模匹配殘差融合神經(jīng)網(wǎng)絡(luò)(residual networks with a waveform-spectrum multimodal fusion, Resnet-WSMF)算法和文獻[18]設(shè)計的輔助分類GAN(auxiliary classifier GAN, ACGAN)模型，選取5種網(wǎng)絡(luò)的最優(yōu)化結(jié)果，圖11和表3分別為網(wǎng)絡(luò)分類準確率和網(wǎng)絡(luò)參數(shù)之間的對比。

圖11 分類準確率結(jié)果對比

表3 不同網(wǎng)絡(luò)參數(shù)對比

運行時間代表一個epoch時間,從圖11和表3結(jié)果可以得出,在本文設(shè)定的小樣本條件下。ACGAN的網(wǎng)絡(luò)參數(shù)最少,識別準確率最低; CLDNN網(wǎng)絡(luò)參數(shù)較多,識別性能一般;AUCNN和Resnet-WSMF 網(wǎng)絡(luò)性能穩(wěn)定,但訓練時間較長,相比較于上述4種網(wǎng)絡(luò),Res-GAN算法取得了最高的識別準確率,而網(wǎng)絡(luò)參數(shù)和時間復雜度僅比ACGAN略高。

為了驗證小樣本條件下本文算法的性能,分別選取不同數(shù)量的標簽樣本數(shù)量進行對比實驗,結(jié)果記錄在表4中。對比表4的結(jié)果可以得出,在標簽樣本量為660左右時,除了本文算法,其他網(wǎng)絡(luò)的識別準確率均較低,隨著標簽樣本量的增加,對比網(wǎng)絡(luò)性能均有不同程度的提升。綜合表3和表4結(jié)果,本文算法一方面驗證了在小樣本條件下的實用性,另一方面在降低算法復雜度上也具有一定優(yōu)勢。網(wǎng)絡(luò)收斂的最小標簽樣本量為660左右。

表4 不同標簽樣本量對網(wǎng)絡(luò)的性能影響

4 結(jié) 論

針對小樣本條件下信號識別準確率不高、算法復雜度高的問題,本文提出了一種基于Res-GAN的調(diào)制識別算法,借助GAN模型用CNN和新殘差單元組成的Resnet作為基本網(wǎng)絡(luò),通過定義新的目標函數(shù),將半監(jiān)督學習與監(jiān)督學習結(jié)合起來,充分利用了無標簽數(shù)據(jù)并有效實現(xiàn)了樣本數(shù)量的擴充。仿真實驗結(jié)果證明,新殘差單元不僅可以豐富特征提取的復雜度,還能更好地實現(xiàn)網(wǎng)絡(luò)參數(shù)的最優(yōu)化更新;相比較于近年來廣泛應用的其他算法,本文算法具有識別準確率高、實現(xiàn)過程簡單、穩(wěn)定性較好、復雜度低的特點。小樣本條件下針對10種調(diào)制信號識別準確率在SNR=18 dB時可以達到98%,驗證了本文算法的有效性。下一步將針對識別混淆的信號進行預處理,通過添加輔助信息來使得網(wǎng)絡(luò)可以更好地區(qū)分相近信號。