基于深度學(xué)習(xí)和集成學(xué)習(xí)的輻射源信號(hào)識(shí)別

黃穎坤, 金煒東, 余志斌, 吳昀璞

(西南交通大學(xué)電氣工程學(xué)院, 四川 成都 610031)

0 引 言

雷達(dá)輻射源信號(hào)(radar emitter signal,RES)識(shí)別是雷達(dá)對(duì)抗信息處理的重要內(nèi)容,它是在分選的基礎(chǔ)上,提取信號(hào)中雷達(dá)的工作參數(shù)和特征參數(shù),然后利用這些參數(shù)獲取該雷達(dá)目標(biāo)的體制、用途和型號(hào)、載體平臺(tái)等信息,進(jìn)而對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)、威脅等級(jí)、活動(dòng)規(guī)律、戰(zhàn)術(shù)意圖等進(jìn)行推理,為己方?jīng)Q策提供重要情報(bào)支持[1]。作為一個(gè)典型的模式識(shí)別過(guò)程,RES識(shí)別的性能依賴于有效的分類特征。然而,面對(duì)當(dāng)前廣泛應(yīng)用的新型復(fù)雜體制雷達(dá),基于常規(guī)五參數(shù)的RES識(shí)別方式已難以勝任現(xiàn)代戰(zhàn)場(chǎng)復(fù)雜的電磁環(huán)境。為彌補(bǔ)五參數(shù)對(duì)RES識(shí)別能力的不足,國(guó)內(nèi)外學(xué)者從時(shí)域[2-4]、頻域[5-7]、時(shí)頻域[8-14]等多角度進(jìn)行分析,研究提出了多種新的RES特征,并取得了較好的識(shí)別效果。但是,截獲的雷達(dá)信號(hào)分布往往是未知的,而有效特征組合的選擇通常要依賴于專家的經(jīng)驗(yàn),識(shí)別的準(zhǔn)確率難以保證。因此,尋求一種基于數(shù)據(jù)的自主特征學(xué)習(xí)方法對(duì)提升RES識(shí)別性能具有重要的意義。隨著近幾年人工智能技術(shù)的快速發(fā)展,雷達(dá)對(duì)抗信號(hào)處理朝智能化發(fā)展已成共識(shí)。其中,深度學(xué)習(xí)及其應(yīng)用是人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)。

當(dāng)前,深度學(xué)習(xí)已經(jīng)在一些模式識(shí)別領(lǐng)域得到了很好的效果[15-19],諸如語(yǔ)音識(shí)別、圖像分類、自然語(yǔ)言處理等。同時(shí),國(guó)內(nèi)外學(xué)者致力于將深度學(xué)習(xí)引入到RES識(shí)別上來(lái)[20-24]。如文獻(xiàn)[21]實(shí)現(xiàn)棧式編碼器(stacked auto encoder, SAE)對(duì)RES時(shí)頻圖像的特征提取,并通過(guò)仿真實(shí)驗(yàn)驗(yàn)證方法的有效性;文獻(xiàn)[22]提出了基于深度信念網(wǎng)絡(luò)(deep belief network, DBN)限制玻爾茲曼機(jī)的RES識(shí)別;文獻(xiàn)[23-24]首先對(duì)RES進(jìn)行時(shí)頻分析,提取信號(hào)的時(shí)頻特征作為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的輸入,訓(xùn)練CNN進(jìn)行RES識(shí)別。SAE、DBN和CNN都是一種較為常見(jiàn)的深度神經(jīng)網(wǎng)絡(luò)(deep neural networks,DNN)模型,它能對(duì)底層特征進(jìn)行非線性組合,形成更為抽象、有效的特征。因此,本文采用文獻(xiàn)[25]提出的棧式降噪自編碼(stacked denoising autoencoders,SDAE)模型來(lái)學(xué)習(xí)RES的特征。同時(shí),考慮到利用集成學(xué)習(xí)的思想能構(gòu)建一個(gè)有效的組合分類器模型,可以用來(lái)替代大多數(shù)深度學(xué)習(xí)應(yīng)用中采用的Softmax分類器。基于此,本文提出了一種結(jié)合深度學(xué)習(xí)和集成學(xué)習(xí)的RES識(shí)別方法,該模型的具體流程如圖1所示。首先,在預(yù)處理階段對(duì)信號(hào)進(jìn)行去噪。由于瞬時(shí)頻率攜帶著大量表征RES調(diào)制特征的有效信息,且抗干擾性強(qiáng)。因此,利用Morlet小波變換來(lái)獲得RES的時(shí)頻圖像。然后,創(chuàng)建一個(gè)含有多個(gè)隱含層的DNN模型提取時(shí)頻圖像的深度特征。最后,在分類器設(shè)計(jì)階段,構(gòu)造一個(gè)多SVM線性組合分類器(multi-SVM linear Combination Classifier,MSVMLC)進(jìn)行分類識(shí)別。

圖1 基于深度學(xué)習(xí)和集成學(xué)習(xí)的RES識(shí)別流程圖Fig.1 Flow chart of RES recognition based on deep learning and ensemble learning

1 降噪自編碼

自編碼器(autoencoder,AE)通過(guò)編碼和解碼兩個(gè)過(guò)程實(shí)現(xiàn)對(duì)輸入的復(fù)現(xiàn),這個(gè)過(guò)程是一個(gè)自主特征學(xué)習(xí)的過(guò)程。自編碼器可以看成是含有一個(gè)3層的神經(jīng)網(wǎng)絡(luò),包括一個(gè)輸入層、隱含層和輸出層。隱含層的輸出就是編碼器學(xué)習(xí)到的特征,是輸入不同層面的描述。AE的學(xué)習(xí)過(guò)程如圖2所示。

圖2 AE模型Fig.2 Model of AE

隱含層和輸出層通常選用Sigmoid作為激活函數(shù),通過(guò)梯度下降法最小化輸入和輸出的損失函數(shù),一般選擇交叉熵作為其損失函數(shù)WE:

該訓(xùn)練過(guò)程沒(méi)有用到輸入的標(biāo)簽,是一個(gè)無(wú)監(jiān)督的過(guò)程。在經(jīng)典AE的基礎(chǔ)上,一些“增強(qiáng)”的模型相繼提出,如降噪自編碼器(denoising AE, DAE)、卷積自編碼器(convolutional AE, CAE)[26]等。其中,DAE的思想是通過(guò)隨機(jī)的“擦除”輸入的某些特征,迫使模型學(xué)習(xí)這些“破損”的輸入數(shù)據(jù)進(jìn)而獲得更具泛化能力的模型。

圖3是文獻(xiàn)[25]中關(guān)于DAE模型的原理圖。為了學(xué)習(xí)出一個(gè)更具魯棒性的識(shí)別模型,本文選用“堆疊”多個(gè)DAE的SDAE模型對(duì)雷達(dá)信號(hào)進(jìn)行自主特征學(xué)習(xí)。該DNN模型通過(guò)將前一層的DAE輸出作為下一層DAE的輸入,依次訓(xùn)練各DAE直到最后一層結(jié)束,則可以在頂層學(xué)習(xí)到輸入的更抽象表示。

圖3 DAE模型結(jié)構(gòu)Fig.3 Model of DAE

2 多SVM分類器組合算法

SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的分類算法,它在許多模式識(shí)別和數(shù)據(jù)挖掘任務(wù)中被廣泛應(yīng)用。SVM分類器不僅具有較強(qiáng)的泛化能力,并且,對(duì)于線性不可分?jǐn)?shù)據(jù),可以通過(guò)核函數(shù)將數(shù)據(jù)映射到高維空間進(jìn)行分類。常用的核函數(shù)有,線性核函數(shù)、高斯核函數(shù)、多項(xiàng)式核函數(shù)等等。目前,對(duì)于一個(gè)給定的分類任務(wù),SVM核函數(shù)的選擇仍然是一個(gè)研究的難點(diǎn),而多SVM組合是解決這個(gè)問(wèn)題的一個(gè)有效方法。因此,本文采用組合SVM分類器具有如下的優(yōu)點(diǎn):

(1) 根據(jù)上面的分析,組合SVM分類器可以避免核函數(shù)選擇的問(wèn)題;

(2) 基于不同核函數(shù)的SVM在相同的訓(xùn)練集上具有不同的性能,對(duì)它們的輸出結(jié)果進(jìn)行組合可以提高分類的性能。

2.1 分類器線性組合算法

多分類器組合算法是一種模型融合方法,它的基本思想是假設(shè)不同的分類器能為結(jié)果提供不同側(cè)面的信息,通過(guò)融合這些信息就可以對(duì)最終的決策提供更好的支持。文獻(xiàn)[27]提出了一種深度模型的線性集成的方法,該方法通過(guò)組合不同DNN模型的輸出來(lái)訓(xùn)練一個(gè)HMM分類器,以此來(lái)獲得比單一DNN模型更好的結(jié)果。本文在文獻(xiàn)[27]的基礎(chǔ)上,構(gòu)造了一種基于后驗(yàn)概率的多分類器線性組合模型,具體描述如下。

考慮一個(gè)模式分類任務(wù)z,其中z可以被分配到c個(gè)模式類別中的一個(gè),則待分類對(duì)象有c個(gè)模式類別{ω1,…,ωj,…,ωc}。令P=[p(x1),…,p(xi),…,p(xN)]T∈RN×c為N個(gè)樣本的真實(shí)后驗(yàn)概率,p(xi)∈R1×c表示樣本xi的真實(shí)后驗(yàn)概率為

p(xi)=[p(ω1|xi),…,p(ωc|xi)]

顯然,xi屬于某一類別的后驗(yàn)概率為“1”,反之為“0”。假設(shè)有M個(gè)分類器,可以用Pk=[pk(x1),…,pk(xi),…,pk(xN)]T∈RN×c來(lái)表示第k個(gè)分類器對(duì)N個(gè)樣本的后驗(yàn)概率。其中,pk(xi)∈R1×c表示分類器k對(duì)樣本xi的后驗(yàn)概率輸出為

pk(xi)=[pk(ω1|xi),…,pk(ωc|xi)]

多分類器線性組合策略的基本思想是:組合模型判定樣本屬于某一模式類別的決策值是由多個(gè)分類器的輸出決策值進(jìn)行線性組合來(lái)獲取的,可以形式化的描述為

p(ωj|xi)≈α1p1(ωj|xi)+…+αMpM(ωj|xi)+bi

進(jìn)一步,多分類器的線性組合模型就可以描述為

(1)

式中,Wk∈Rc×c表示分類器的權(quán)值矩陣;bT∈Rc×1為偏置向量。對(duì)式(1)的參數(shù)進(jìn)行估計(jì)使組合模型的輸出值與真實(shí)值之間的差異最小,這個(gè)差異可以采用最小平方誤差來(lái)衡量,即

∑i‖pcom(xi)-p(xi)T‖2

(2)

在參數(shù)估計(jì)問(wèn)題中,為了避免模型過(guò)擬合,通常在其損失函數(shù)中加入正則化項(xiàng)[28]?？紤]到模型參數(shù)的便于求解,為損失函數(shù)增加L2-正則化項(xiàng),所以式(2)改寫為

∑i‖pcom(xi)-p(xi)T‖2+

(3)

式中,γk是正則化參數(shù),可以使用交叉驗(yàn)證的方法進(jìn)行選擇。式(3)是一個(gè)多元函數(shù)求極值問(wèn)題,可以用最小二乘法進(jìn)行求解。首先,通過(guò)求解W、bT的偏導(dǎo)數(shù),即

則

解方程組可以解得:[WbT]=BA-1。其中,A和B的值分別為

A3=[∑ip1(xi),…,∑ipM(xi)]

B=[PTP1,…,PTPM,∑ipT(xi)]

本文選擇4種不同的SVM模型,分別是基于線性核的SVM(記為SVM_LK)、基于多項(xiàng)式核的SVM(記為SVM_PK),基于高斯核的SVM(記為SVM_GK),基于Sigmoid核的SVM(記為SVM_SK)。從效果上看,組合多SVM分類器可以在一定程度上避免了SVM核函數(shù)選擇的問(wèn)題。但是,標(biāo)準(zhǔn)SVM無(wú)法給出樣本的后驗(yàn)概率輸出,為了使用本文的線性組合算法,需要尋求一種SVM后驗(yàn)概率輸出的方法。

2.2 SVM的后驗(yàn)概率輸出

對(duì)于模式分類而言,標(biāo)準(zhǔn)SVM可以得到樣本屬于某一類別的決策值,卻無(wú)法給出其相應(yīng)的后驗(yàn)概率。但是,決策值和后驗(yàn)概率之間存在一定的關(guān)聯(lián)性,樣本的決策值絕對(duì)值越大表明其屬于某一類別可信度越高,因此可以考慮用決策值獲取樣本的后驗(yàn)概率。可以采用Platt[29]提出的方法獲得SVM的后驗(yàn)概率。該方法的本質(zhì)是通過(guò)訓(xùn)練數(shù)據(jù)擬合出一個(gè)Sigmoid模型,該模型可以實(shí)現(xiàn)SVM的決策值到后驗(yàn)概率的映射。Sigmoid模型可以表示為

式中,f是SVM輸出的決策值;參數(shù)A、B可以通過(guò)訓(xùn)練得出。應(yīng)當(dāng)注意的是,該方法只適用于二分類問(wèn)題,對(duì)于多分類問(wèn)題可以將其劃為多個(gè)二分類問(wèn)題,分別求出相應(yīng)的后驗(yàn)概率后進(jìn)行歸一化處理[30]。

3 仿真實(shí)驗(yàn)和結(jié)論分析

通過(guò)仿真8種常見(jiàn)的RES信號(hào)來(lái)驗(yàn)證本文方法的有效性,包括具有恒定頻率的常規(guī)信號(hào)、線性調(diào)頻信號(hào)(linear frequency modulation, LFM)、非線性調(diào)頻信號(hào)(nonlinear frequency modulation, NLFM)、二相編碼信號(hào)(binary phase shift keying, BPSK)、二進(jìn)制頻率編碼信號(hào)(binary frequency-shift keying, BFSK)、Chirp子脈沖步進(jìn)頻率信號(hào)(CSF)、多相編碼信號(hào)(multiple phase shift keying, MPSK)和Costas編碼信號(hào)。信號(hào)載頻為100 MHz,采樣頻率為500 MHz,脈寬為1.8 μs。其中,BPSK和BFSK采用13位Barker碼;CSF的步進(jìn)頻率10 MHz;MPSK采用16位Frank碼;NLFM采用正弦波調(diào)制;Costas編碼信號(hào)包含10個(gè)子碼;BFSK的兩個(gè)頻率分別是100 MHz和20 MHz。在20～30dB的信噪比范圍內(nèi),每種信號(hào)樣式每隔5 dB產(chǎn)生10個(gè)脈沖信號(hào),總計(jì)160個(gè)脈沖信號(hào)作為SDAE模型的訓(xùn)練樣本。同時(shí),分別在-5 dB、-2 dB、0 dB、2 dB、5 dB信噪比下各仿真800個(gè)脈沖信號(hào)作為測(cè)試樣本,每一信號(hào)樣式各100個(gè)脈沖。本次實(shí)驗(yàn)都是在MatlabR2015a+LibSVM 3.12平臺(tái)下完成的,同時(shí)使用DeepLearnToolbox工具箱搭建所需的SDAE模型。選擇LibSVM工具箱除了便于SVM模型的搭建外,并且該工具箱采用文獻(xiàn)[29]提出的方法獲得SVM的后驗(yàn)概率輸出。

實(shí)驗(yàn)1為了驗(yàn)證SDAE特征學(xué)習(xí)的有效性,本文選用幾種傳統(tǒng)的人工提取的特征進(jìn)行比較。如文獻(xiàn)[3-4]提取了RES頻域的復(fù)雜度特征,包括盒維數(shù)(box dimension, BD)、范數(shù)熵(norm entropy, NoEn)和稀疏度(sparseness factor, SF);文獻(xiàn)[8]提取了RES的小波脊頻級(jí)聯(lián)特征(wavelet ridge-frequency cascade-feature, WRFCCF),該特征向量由小波脊頻上的7維統(tǒng)計(jì)特征組成的。對(duì)于復(fù)雜度特征和WRFCCF,分別選擇基于線性核函數(shù)的SVM和基于高斯核函數(shù)的SVM來(lái)獲得最佳的識(shí)別效果。然后,構(gòu)造含有3層隱含層的SDAE模型(784-100-100-100-8),模型的參數(shù)設(shè)置采用DeepLearnToolbox工具箱默認(rèn)值,最后使用Softmax分類器進(jìn)行分類。其中,SDAE模型的輸入特征是RES的時(shí)頻圖像。各方法的分類平均正確率如表1所示。

表1的結(jié)果可以看出,基于SDAE模型提取的特征在較低SNR下表現(xiàn)出良好的性能,并比基于文獻(xiàn)[3-4,8]提出的特征獲得更高的正確率,其中在SNR=-2 dB條件下仍有大于83%的準(zhǔn)確率;基于復(fù)雜度參數(shù)的方法效果較差,主要原因是復(fù)雜度參數(shù)刻畫信號(hào)波形的信息,在較低SNR下波形失真較為嚴(yán)重;同樣的,基于WRFCCF特征的方法在SNR=5 dB也只有69%左右的準(zhǔn)確率,表現(xiàn)出對(duì)噪聲的敏感性。

實(shí)驗(yàn)2為了驗(yàn)證多SVM組合模型能有效提升RES識(shí)別正確率,本文提取實(shí)驗(yàn)1中SDAE模型的最后一個(gè)隱含層的輸出值作為各對(duì)比分類器(SVM_LK、SVM_PK、SVM_GK、SVM_SK)的輸入特征(參數(shù)設(shè)置采用LibSVM工具箱默認(rèn)值)。同時(shí),依據(jù)第2節(jié)描述的算法,組合這4種不同SVM進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同SVM的分類正確率比較

從表1和表2可以看出,基于線性核函數(shù)的SVM相較于傳統(tǒng)的Softmax分類器在分類正確率上均有一定程度地提升(除了SNR=-2 dB的情況),而本文提出的組合模型能獲得了比其他4種SVM分類器具有更好的效果。圖4是不同分類模型在不同信噪比下對(duì)8種雷達(dá)信號(hào)的分類正確率曲線,容易看出SVM_PK、SVM_PK、SVM_LK和SVM_SK這4個(gè)不同的SVM分類器在分類性能上非常相近,其中,SVM_LK的分類性能最好。同時(shí),通過(guò)對(duì)比圖4中的性能曲線可以看出,組合這4種SVM的集成模型獲得了更好的分類正確率。

圖4 不同SNR下8種RES的識(shí)別率Fig.4 Recognition result of 8 types of RES in different SNR

最后,為了進(jìn)一步對(duì)各分類模型的性能進(jìn)行對(duì)比,構(gòu)造一個(gè)測(cè)試集進(jìn)行測(cè)試,包含上述實(shí)驗(yàn)中信噪比在-5～5 dB的所有信號(hào)。表3是6種不同分類模型對(duì)測(cè)試集的分類正確率,從表中可以看出,相較于SDAE+Softmax模型,本文的組合模型可以提高2個(gè)百分點(diǎn)的分類正確率。并且,該組合模型也能獲得比單獨(dú)使用SVM進(jìn)行分類更好的性能。

表3 分類正確率比較

4 結(jié) 論

本文提出了一種基于深度學(xué)習(xí)和集成學(xué)習(xí)的融合模型,并應(yīng)用于RES的分類識(shí)別,并通過(guò)仿真8種常見(jiàn)RES信號(hào)進(jìn)行驗(yàn)證。實(shí)驗(yàn)1的結(jié)果表明了相較于文獻(xiàn)[3-4,8]提取的傳統(tǒng)人工特征,本文基于SDAE模型提取的RES特征獲得更高的正確率。根據(jù)實(shí)驗(yàn)2的結(jié)果可以得出:MSVMLC模型能進(jìn)一步提升RES識(shí)別性能。另外,值得注意的是,基于DNN模型提取的特征參數(shù)難以解釋其物理意義,并且DNN模型的訓(xùn)練通常需要大量的有標(biāo)簽數(shù)據(jù),因此需要完備的RES數(shù)據(jù)作為支持。