王春升,王永民,許華,張悅,朱麗莉
(空軍工程大學(xué)信息與導(dǎo)航學(xué)院,710077,西安)
隨著信息技術(shù)的迅猛發(fā)展以及通信輻射源種類(lèi)數(shù)量的日益增多,無(wú)線(xiàn)網(wǎng)絡(luò)安全和電子偵察面臨著嚴(yán)峻挑戰(zhàn)。傳統(tǒng)的MAC地址和秘鑰認(rèn)證方法容易被偽造和破解,依靠信號(hào)分析方法去追蹤和識(shí)別信號(hào)已無(wú)法滿(mǎn)足復(fù)雜電磁環(huán)境下的偵察需求,特定輻射源識(shí)別(specific emitter identification,SEI)[1]通過(guò)提取輻射源信號(hào)中固有的指紋特征,再配合傳統(tǒng)的秘鑰等認(rèn)證方法可以加強(qiáng)對(duì)非法設(shè)備的識(shí)別和身份認(rèn)證,提高通信系統(tǒng)安全性能。另外,在電子偵察領(lǐng)域中,通過(guò)識(shí)別個(gè)體特征可以有效獲取非合作目標(biāo)信息、追蹤信號(hào)位置空間、分析戰(zhàn)場(chǎng)電磁態(tài)勢(shì)并獲取價(jià)值情報(bào)。
根據(jù)通信輻射源的工作狀態(tài),可以將信號(hào)指紋特征分為暫態(tài)特征和穩(wěn)態(tài)特征。暫態(tài)特征的差異明顯且容易分辨,但提取暫態(tài)特征對(duì)設(shè)備的精密性和采集條件要求高,且易受噪聲干擾[2]。相較于暫態(tài)特征,穩(wěn)態(tài)特征獲取容易,基于穩(wěn)態(tài)特征提取射頻指紋的方法有廣泛的研究和適用范圍,如通過(guò)高階累積量[3]、矩形積分雙譜[4]、變分模態(tài)分解[5]等特征變化方法進(jìn)行特征提取,并通過(guò)支持向量機(jī)(support vector machine,SVM)、聚類(lèi)等分類(lèi)算法進(jìn)行分類(lèi)。但是,這些人工設(shè)計(jì)的特征提取和分類(lèi)方法復(fù)雜度較高、泛化性不強(qiáng)、識(shí)別率低。
隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展[6],很多學(xué)者將其應(yīng)用于輻射源個(gè)體識(shí)別或信號(hào)識(shí)別領(lǐng)域。例如,利用不同的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)對(duì)信號(hào)的Hilbert譜圖像[7]、差分星座軌跡圖(differential constellation trace figure,DCTF)[8-10]、時(shí)頻譜圖[11-12]進(jìn)行識(shí)別,這些方法都較傳統(tǒng)方法有了大的性能提升。為了減少在信號(hào)變換中特征的丟失和模型復(fù)雜度,很多學(xué)者利用一維CNN和長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory network,LSTM)直接對(duì)基帶I/Q序列數(shù)據(jù)進(jìn)行特征提取和分類(lèi)[13-14]。進(jìn)一步地,CNN和LSTM融合的混合網(wǎng)絡(luò)識(shí)別方法[15]、基于復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)的識(shí)別方法[16]也相繼被提出,這些方法利用深度學(xué)習(xí)的強(qiáng)大特征提取能力、自學(xué)習(xí)能力和相應(yīng)的數(shù)據(jù)處理方法,使得分類(lèi)性能得到了很大提升。
以往研究的通信輻射源個(gè)體識(shí)別方法大都是基于閉集環(huán)境,但實(shí)際的應(yīng)用場(chǎng)景往往都是處于開(kāi)集環(huán)境。目前,已有部分學(xué)者開(kāi)始研究在開(kāi)集場(chǎng)景下的輻射源個(gè)體識(shí)別。文獻(xiàn)[17-18]利用基于極值理論的OpenMax[19]對(duì)雷達(dá)的高分辨距離像以及輻射源個(gè)體進(jìn)行識(shí)別,相較于傳統(tǒng)的開(kāi)集識(shí)別模型有較好的性能優(yōu)勢(shì)。此外,將triplet loss、center loss等多種度量學(xué)習(xí)方法和深度學(xué)習(xí)結(jié)合的識(shí)別方法[20]以及基于半監(jiān)督和對(duì)抗自編碼器的輻射源個(gè)體開(kāi)集識(shí)別方法[21-22]都取得了較好的效果。近年來(lái),結(jié)合原型學(xué)習(xí)思想和深度神經(jīng)網(wǎng)絡(luò)的原型網(wǎng)絡(luò)被用于小樣本條件下的圖像識(shí)別[23]、類(lèi)增量學(xué)習(xí)[24]和開(kāi)集識(shí)別[25],這些方法都取得了相較于傳統(tǒng)CNN更好的識(shí)別性能。
目前,針對(duì)通信輻射源個(gè)體的開(kāi)集別研究較少,且識(shí)別性能和魯棒性還有待提升。文獻(xiàn)[10]基于原型學(xué)習(xí)[24]提出殘差原型網(wǎng)絡(luò)結(jié)構(gòu),并針對(duì)信號(hào)的差分星座軌跡圖進(jìn)行識(shí)別,在閉集環(huán)境下取得了良好的識(shí)別性能。在此基礎(chǔ)上,本文提出了一種開(kāi)集場(chǎng)景下適用于一維信號(hào)的輻射源個(gè)體識(shí)別模型,該網(wǎng)絡(luò)模型采用原型學(xué)習(xí)思想,在一維卷積神經(jīng)網(wǎng)絡(luò)中加入壓縮激勵(lì)(squeeze-and-excitation,SE)模塊[6],利用基于原型的距離交叉熵?fù)p失(distance cross entropy,DCE)函數(shù)為每一個(gè)類(lèi)別學(xué)習(xí)一個(gè)原型,通過(guò)類(lèi)原型之間的距離完成分類(lèi)。在此基礎(chǔ)上,加入原型損失(prototype loss,PL)函數(shù),在提高信號(hào)類(lèi)內(nèi)緊密度的同時(shí)擴(kuò)增內(nèi)間距離,進(jìn)一步提高了模型分類(lèi)能力?;赑L的作用原理,采用基于自適應(yīng)距離的分類(lèi)規(guī)則完成對(duì)已知目標(biāo)的分類(lèi)和未知目標(biāo)的檢測(cè),從而完成了開(kāi)集識(shí)別。對(duì)5種ZigBee設(shè)備采集的I/Q原始數(shù)據(jù)進(jìn)行實(shí)驗(yàn),結(jié)果表明,本文提出的模型相較于其他經(jīng)典方法具有更高的識(shí)別性能。
對(duì)于一個(gè)特定的識(shí)別問(wèn)題,常用的識(shí)別方法是閉集識(shí)別,即測(cè)試集的樣本類(lèi)別和用于訓(xùn)練的樣本類(lèi)別相同。假定樣本的類(lèi)別數(shù)量為N,閉集識(shí)別所解決的問(wèn)題就是完成測(cè)試集中N個(gè)類(lèi)別的分類(lèi)。但是,實(shí)際的應(yīng)用場(chǎng)景中往往都是處于開(kāi)集的環(huán)境,需要測(cè)試的樣本中可能包含了訓(xùn)練集中沒(méi)有出現(xiàn)的新類(lèi)別,利用閉集識(shí)別方法所訓(xùn)練的模型在進(jìn)行識(shí)別時(shí)會(huì)將來(lái)自未知類(lèi)的測(cè)試樣本識(shí)別為已知類(lèi)別,從而嚴(yán)重影響識(shí)別精度。
開(kāi)集識(shí)別為解決該問(wèn)題提供了新的思路,即在對(duì)已知的N類(lèi)樣本進(jìn)行分類(lèi)識(shí)別的基礎(chǔ)上完成對(duì)未知類(lèi)目標(biāo)的檢測(cè)或拒絕。閉集識(shí)別和開(kāi)集識(shí)別的分類(lèi)模型如圖1所示。在閉集識(shí)別中,所學(xué)習(xí)到的整個(gè)特征空間將會(huì)被分配給所有已知類(lèi),未知類(lèi)目標(biāo)只能被判定為某一個(gè)相似的已知類(lèi);在開(kāi)集識(shí)別中,已知類(lèi)別的特征空間是有限的,分類(lèi)邊界在對(duì)已知類(lèi)別進(jìn)行分類(lèi)的同時(shí)可識(shí)別出未知類(lèi)別,并將所有未知類(lèi)別的樣本劃分為一類(lèi)。
圖1 閉集識(shí)別和開(kāi)集識(shí)別模型Fig.1 Recognition models for closed set and open set
原型學(xué)習(xí)通過(guò)特定的學(xué)習(xí)方法為每個(gè)類(lèi)別計(jì)算出一個(gè)或多個(gè)原型表示aij,其中i∈{1,2,…,N}表示樣本中共有N個(gè)類(lèi)別,j∈{1,2,…,M}表示每個(gè)類(lèi)中有M個(gè)原型[24]。在分類(lèi)識(shí)別任務(wù)中,可以利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力來(lái)提取數(shù)據(jù)特征,并構(gòu)建每一個(gè)類(lèi)原型,神經(jīng)網(wǎng)絡(luò)作為特征提取器可表示為f(x;θ),x和θ分別表示網(wǎng)絡(luò)的原始輸入和參數(shù)[10]。以往的CNN模型在分類(lèi)的時(shí)候使用softmax函數(shù)對(duì)全連接層的輸出進(jìn)行歸一化,以最大概率值對(duì)輸入樣本x進(jìn)行判定和分類(lèi)。分類(lèi)依據(jù)為
(1)
式中:y∈{1,2,…,N};p(y|x)表示樣本x屬于類(lèi)別y的概率;δi表示第i類(lèi)對(duì)應(yīng)的網(wǎng)絡(luò)輸出值。利用原型學(xué)習(xí)進(jìn)行分類(lèi)時(shí),網(wǎng)絡(luò)可為每個(gè)類(lèi)學(xué)習(xí)一個(gè)原型。對(duì)于任意樣本,可以將它劃入到距離最近的原型所屬的類(lèi)別。該過(guò)程可以表示為
(2)
式中g(shù)i(x)是類(lèi)別i的分類(lèi)函數(shù),表示為
(3)
其中f(x;θ)和原型ai可以聯(lián)合學(xué)習(xí)。在學(xué)習(xí)過(guò)程中,不斷將某一類(lèi)原型推向該類(lèi)的樣本特征,而其他類(lèi)的原型遠(yuǎn)離該類(lèi)樣本特征。原型學(xué)習(xí)將分類(lèi)問(wèn)題轉(zhuǎn)化為在特征向空間中的最近鄰問(wèn)題,結(jié)合神經(jīng)網(wǎng)絡(luò)的特征提取優(yōu)勢(shì),可以有效緩解過(guò)擬合,提高泛化性能和識(shí)別性能。
開(kāi)集場(chǎng)景下基于原型網(wǎng)絡(luò)的輻射源個(gè)體識(shí)別模型是利用一維卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu),結(jié)合原型學(xué)習(xí)方法和SE模塊對(duì)預(yù)處理的I/Q信號(hào)進(jìn)行識(shí)別,并利用自適應(yīng)距離分類(lèi)規(guī)則完成分類(lèi)預(yù)測(cè)。
開(kāi)集場(chǎng)景下基于原型網(wǎng)絡(luò)的輻射源個(gè)體識(shí)別模型如圖2所示,主要分為3個(gè)模塊。第1個(gè)模塊為數(shù)據(jù)處理模塊,接收端接收信號(hào)后,首先對(duì)其進(jìn)行高采樣率采樣,然后按照樣本長(zhǎng)度對(duì)數(shù)據(jù)進(jìn)行功率歸一化、切片和加噪等操作,最后按預(yù)設(shè)比例劃分訓(xùn)練集和測(cè)試集。第2個(gè)模塊為特征提取和參數(shù)更新模塊。將處理好的I/Q數(shù)據(jù)送入一維CNN,對(duì)于該網(wǎng)絡(luò)模型,給定輸入x,通過(guò)神經(jīng)網(wǎng)絡(luò)特征提取器f(x;θ)獲得它的抽象特征表示。在訓(xùn)練階段,通過(guò)最小化損失函數(shù)和神經(jīng)網(wǎng)絡(luò)的反向傳播算法同時(shí)更新網(wǎng)絡(luò)參數(shù)和原型,更高效地訓(xùn)練整個(gè)網(wǎng)絡(luò)。第3個(gè)模塊為分類(lèi)模塊,在訓(xùn)練階段,將訓(xùn)練樣本提取到的抽象特征與所有原型進(jìn)行匹配,根據(jù)歐氏距離將其分類(lèi)到最近原型所屬的類(lèi)別。在測(cè)試階段,將測(cè)試樣本提取到的抽象特征與所有已訓(xùn)練好的原型進(jìn)行匹配,根據(jù)自適應(yīng)距離分類(lèi)規(guī)則將測(cè)試樣本分類(lèi)為已知類(lèi)別的某一類(lèi)或未知類(lèi)別。
圖2 開(kāi)集場(chǎng)景下基于原型網(wǎng)絡(luò)的輻射源個(gè)體識(shí)別模型Fig.2 Specific emitter identification model based on prototype network for open set scenes
開(kāi)集識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。本文直接對(duì)序列數(shù)據(jù)進(jìn)行處理,復(fù)雜度較低,故設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)以較為簡(jiǎn)單的一維卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)。網(wǎng)絡(luò)層數(shù)共有4層,每一層的卷積核數(shù)分別為32、64、128、256。在每一個(gè)卷積層后添加內(nèi)核為2的最大池化層來(lái)降低模型的復(fù)雜度和過(guò)擬合程度,通過(guò)4層的網(wǎng)絡(luò)使得最后的輸出樣本維度降到一個(gè)較低的值,以便充分提取數(shù)據(jù)的深層特征。
圖3 開(kāi)集識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of open set recognition
每個(gè)卷積層的卷積核大小為1×9,使用較大的卷積核能夠充分提取序列數(shù)據(jù)中的時(shí)序信息。在每一次卷積和池化操作后加入SE模塊,通過(guò)調(diào)整各通道的權(quán)重進(jìn)一步提高識(shí)別準(zhǔn)確率。在最后一個(gè)卷積層中加入Dropout層,以緩解模型在訓(xùn)練中出現(xiàn)的過(guò)擬合現(xiàn)象。在卷積操作中對(duì)每一個(gè)樣本數(shù)據(jù)的邊緣補(bǔ)0,保證充分提取該樣本的特征,并確保卷積后得到的樣本長(zhǎng)度不變。
在卷積層后,采用PReLU激活函數(shù)。PReLU激活函數(shù)在負(fù)值時(shí)的斜率是在0~1之間可學(xué)習(xí)的。在神經(jīng)網(wǎng)絡(luò)中,初始化權(quán)重和權(quán)重更新時(shí),都有可能出現(xiàn)權(quán)重為負(fù)值的情況,使用PReLU激活函數(shù),保證了在激活函數(shù)輸入特征為負(fù)值的時(shí)候其輸出值不為全0,能夠更全面地保留網(wǎng)絡(luò)提取的特征,提升識(shí)別性能。在所有卷積操作完成后,采用自適應(yīng)平均池化,輸出大小維度為1×1。最后經(jīng)過(guò)全連接層,輸出2維特征,輸出特征通過(guò)DCE損失和PL損失計(jì)算特征到原型的歐氏距離,同時(shí)更新網(wǎng)絡(luò)參數(shù)和原型ai。
網(wǎng)絡(luò)中加入的SE模塊采用了注意力機(jī)制,其核心思想是通過(guò)不斷學(xué)習(xí)來(lái)自動(dòng)獲取在卷積過(guò)程中每個(gè)特征通道的重要程度,依據(jù)重要程度來(lái)調(diào)整各通道的權(quán)重,在權(quán)重的作用下可提高有效通道特征的影響,抑制作用較小的通道特征,進(jìn)而提高網(wǎng)絡(luò)的識(shí)別性能。一維SE模型如圖4所示,輸入數(shù)據(jù)X=(u1,u2,…,uC′),經(jīng)過(guò)卷積操作后提取的特征為U=(u1,u2,…,uC),其中C和C′代表通道維度,L和L′代表每一個(gè)通道的特征維度。為了適應(yīng)一維數(shù)據(jù)處理,將SE模塊中的二維結(jié)構(gòu)改為一維結(jié)構(gòu)。該模塊總共分為3個(gè)步驟。第1步,進(jìn)行Squeeze操作。保留通道數(shù)不變,將時(shí)間序列數(shù)據(jù)中的C×L維特征經(jīng)過(guò)一維自適應(yīng)平均池化,變成C×1維特征,使其具有全局感受野。該過(guò)程可表示為
(4)
式中:Fsq(·)代表Squeeze操作;uc∈RL代表操作前的特征分布;zc代表z的第c個(gè)分量,z∈RC代表Fsq(·)操作后的特征分布;uc(i)代表U中第c個(gè)通道的第i個(gè)分量。
圖4 一維SE模型Fig.4 One-dimensional SE model
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))
(5)
式中:δ代表ReLU函數(shù);σ代表Sigmoid函數(shù);Fex(·,W)代表Excitation操作。
(6)
式中Fscale(·,·)代表特征重標(biāo)定操作。
在閉集場(chǎng)景下,對(duì)已知類(lèi)目標(biāo)的分類(lèi)可以基于式(2)、(3)完成。在開(kāi)集場(chǎng)景下,對(duì)已知目標(biāo)的分類(lèi)和未知類(lèi)目標(biāo)的檢測(cè)可以在原型網(wǎng)絡(luò)的基礎(chǔ)上使用基于距離的拒絕規(guī)則。
在式(3)中,gi(x)代表樣本x屬于類(lèi)別i的匹配程度,即樣本x到類(lèi)別i的距離。在測(cè)試時(shí),如果樣本x到類(lèi)別i的最近距離大于閾值ω,即
(7)
則代表該樣本x與已知類(lèi)別i的原型ai匹配程度很低,可判定該樣本為未知類(lèi)別[25]。式中f(x;θ)代表樣本x的深度特征?;趃i(x)的定義,則有
maxgi(x)<-ω
(8)
式(8)代表樣本x屬于類(lèi)別i的最大匹配程度小于某一個(gè)閾值,等價(jià)于式(7)。
然而,在基于距離的拒絕規(guī)則中,閾值ω難以設(shè)定。選取不同網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)深度,不同信噪比下的識(shí)別信號(hào)或者不同的λ進(jìn)行訓(xùn)練擬合時(shí),都會(huì)導(dǎo)致每一個(gè)類(lèi)出現(xiàn)不同的樣本分布,而不同的樣本分布會(huì)導(dǎo)致每一個(gè)類(lèi)原型之間的距離不同,且每一個(gè)類(lèi)的樣本到該類(lèi)別所屬原型的距離分布也不同。因此,使用固定的閾值ω會(huì)使得拒絕檢測(cè)不具有魯棒性,且閾值ω也難以確定。
圖5是不同信噪比和不同類(lèi)別樣本下的特征分布對(duì)比??梢钥闯?經(jīng)過(guò)訓(xùn)練后,不同信噪比下已知類(lèi)的樣本以及類(lèi)原型分布不同。圖中,d1≠d′1,d2≠d′2,因此用來(lái)判定樣本屬于某一類(lèi)原型的距離閾值ω就不同,這就給ω的設(shè)定帶來(lái)了困難。
(a)10 dB下的樣本特征分布
基于此,本文提出了基于自適應(yīng)距離的分類(lèi)規(guī)則。在該規(guī)則中,距離閾值ω是可學(xué)習(xí)的,在訓(xùn)練期間,根據(jù)每一個(gè)類(lèi)別樣本的分布情況,可以自動(dòng)調(diào)整ω,得到一個(gè)更具魯棒性的ω。具體算法如下:在訓(xùn)練期間,根據(jù)標(biāo)簽信息得到每一個(gè)預(yù)測(cè)正確的樣本x,通過(guò)CNN網(wǎng)絡(luò)提取到特征f(x;θ),計(jì)算特征f(x;θ)到樣本x對(duì)應(yīng)原型的距離。訓(xùn)練完成后,得到所有類(lèi)的原型以及正確預(yù)測(cè)樣本x所提取的特征f(x;θ)到對(duì)應(yīng)原型的距離分布D,表示為
D={dxi|x=1,2,…,T;i=1,2,…,N}
(9)
式中:T代表訓(xùn)練集中每個(gè)類(lèi)別的樣本數(shù)量;N代表類(lèi)別數(shù)量;dxi代表樣本x到對(duì)應(yīng)原型ai的距離。在測(cè)試時(shí),由于測(cè)試樣本中未知樣本的空間分布情況未知,它可能在不同的網(wǎng)絡(luò)模型或數(shù)據(jù)集下出現(xiàn)不同的位置分布。對(duì)于每一個(gè)測(cè)試樣本,首先計(jì)算該測(cè)試樣本到每一個(gè)原型ai的距離,找到最近距離所對(duì)應(yīng)的類(lèi)別i,計(jì)算式為
(10)
之后,根據(jù)所找到的類(lèi)別i以及該類(lèi)樣本特征到類(lèi)原型ai的距離分布,得到最大距離分布值di=maxdxi。將該距離分布值di作為類(lèi)別i的距離閾值ωi。如果測(cè)試樣本到最近原型的距離小于該類(lèi)原型的閾值ωi,則判定為該類(lèi)別,否則判定為未知類(lèi)樣本。判別式表示為
(11)
2.4.1 DCE損失
在原型網(wǎng)絡(luò)結(jié)構(gòu)中,用距離來(lái)衡量樣本和原型之間的相似性[23]。因此,樣本(x,y)與原型ai之間的距離可以衡量其屬于原型的概率,其中,x為樣本,y為樣本對(duì)應(yīng)的標(biāo)簽?;谖墨I(xiàn)[24]和[10]的分析,可以將DCE損失定義為
(12)
式中:A={ai|i=1,2,…,N}代表類(lèi)原型集合;q(y)是樣本標(biāo)簽的分布;p(y|x)表示樣本x屬于類(lèi)別y的概率;K為一個(gè)批次的樣本數(shù)量。
2.4.2 PL損失
為了進(jìn)一步提高網(wǎng)絡(luò)的識(shí)別性能,同時(shí)完成開(kāi)集識(shí)別任務(wù),可以在訓(xùn)練期間通過(guò)PL損失函數(shù)[24]縮小類(lèi)內(nèi)樣本特征間的距離,繼而以提高類(lèi)內(nèi)緊密度的方式增加類(lèi)間距離。同時(shí),通過(guò)該損失函數(shù)的約束,在縮小已知類(lèi)樣本特征空間的基礎(chǔ)上擴(kuò)大了未知類(lèi)的空間分布,更有利于對(duì)未知類(lèi)目標(biāo)的檢測(cè)和拒絕。PL損失定義為
(13)
式中ay為y類(lèi)所屬原型。最小化PL((x,y);θ,A)可以縮小各類(lèi)樣本特征到所屬原型的距離。
2.4.3 聯(lián)合損失
根據(jù)以上分析,可以將DCE損失和PL損失相結(jié)合來(lái)訓(xùn)練模型。聯(lián)合損失可以定義為
(14)
式中λ是控制PL損失權(quán)重的超參數(shù)。通過(guò)結(jié)合DCE損失和PL損失,可進(jìn)一步提高網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確率和魯棒性。另外,PL損失作為正則化項(xiàng)和對(duì)已知類(lèi)樣本空間的約束函數(shù),既有助于完成開(kāi)集識(shí)別任務(wù),也可以防止模型的過(guò)擬合,增加泛化性能。通過(guò)式(14)分析得到,λ太小則類(lèi)內(nèi)分布空間不夠緊密,難以達(dá)到更優(yōu)的識(shí)別性能。λ太大也會(huì)過(guò)度提高樣本空間的緊密度,增加過(guò)擬合程度,降低閉集和開(kāi)集識(shí)別的分類(lèi)性能。
2.4.4 優(yōu)化方法
采用自適應(yīng)梯度下降(Adma)進(jìn)行優(yōu)化,優(yōu)化目標(biāo)為最小化聯(lián)合損失L((x,y);θ,A),每批訓(xùn)練樣本數(shù)為64,學(xué)習(xí)率初始值為0.000 5。迭代數(shù)選擇為40,每迭代10次后學(xué)習(xí)率降低50%。
在訓(xùn)練時(shí),首先根據(jù)特征維度和類(lèi)別數(shù)目對(duì)每一類(lèi)別構(gòu)造原型,并對(duì)原型進(jìn)行初始化。輸入樣本經(jīng)過(guò)網(wǎng)絡(luò)提取特征后,計(jì)算與各個(gè)類(lèi)原型的距離,根據(jù)距離再計(jì)算出DCE損失和PL損失。最后,聯(lián)合DCE和PL損失進(jìn)行端到端訓(xùn)練和網(wǎng)絡(luò)優(yōu)化,同時(shí)更新網(wǎng)絡(luò)參數(shù)和原型ai。
在測(cè)試時(shí),將輸入信號(hào)的抽象特征與所有類(lèi)別的原型進(jìn)行比較,根據(jù)自適應(yīng)距離分類(lèi)規(guī)則將測(cè)試樣本分類(lèi)為已知類(lèi)別的某一類(lèi)或未知類(lèi)別。
3.1.1 實(shí)驗(yàn)平臺(tái)
本文實(shí)驗(yàn)基于Python下的Pytorch深度學(xué)習(xí)框架,所使用的硬件平臺(tái)中CPU為 AMD Ryzen 7 5800H,GPU為 NVDIA GeForce RTX3070。
3.1.2 數(shù)據(jù)預(yù)處理
實(shí)驗(yàn)所用數(shù)據(jù)集來(lái)自5種ZigBee設(shè)備的實(shí)采信號(hào)[8],采樣率為107s-1。信號(hào)調(diào)制方式為OQPSK(offset quadrature phase-shift keying),遵循IEEE 802.15.4標(biāo)準(zhǔn),信號(hào)接收設(shè)備為Ettus Research N210 USRP。每一類(lèi)設(shè)備有5段信號(hào),每段信號(hào)分為9個(gè)小的幀段,每個(gè)幀段約為40 000個(gè)樣本。將所有采集到的信號(hào)進(jìn)行預(yù)處理,首先對(duì)信號(hào)進(jìn)行功率歸一化,消除在實(shí)際采集數(shù)據(jù)時(shí)因信號(hào)功率不同帶來(lái)的影響,然后對(duì)信號(hào)進(jìn)行切片處理、加高斯噪聲。
在閉集實(shí)驗(yàn)中,隨機(jī)選取每一類(lèi)設(shè)備的4段信號(hào)為訓(xùn)練集,第5段信號(hào)為測(cè)試集。在開(kāi)集實(shí)驗(yàn)中,選取其中的3類(lèi)設(shè)備,每一類(lèi)設(shè)備選取4段信號(hào)作為訓(xùn)練集,而測(cè)試集選取5類(lèi)設(shè)備的第5段信號(hào)。
3.2.1 不同樣本長(zhǎng)度下的性能對(duì)比
采用控制變量法選取最優(yōu)識(shí)別性能下的參數(shù)。圖6顯示了在閉集環(huán)境下,信噪比在-10~6 dB之間變化時(shí)不同樣本長(zhǎng)度下的識(shí)別準(zhǔn)確率。可以看出,對(duì)于序列信號(hào):當(dāng)樣本長(zhǎng)度較小時(shí),網(wǎng)絡(luò)難以提取到樣本所包含的指紋特征,識(shí)別精度較低;當(dāng)樣本長(zhǎng)度逐漸變大時(shí),樣本所包含的指紋特征更豐富,識(shí)別精度逐漸提高。但是,當(dāng)樣本長(zhǎng)度過(guò)大時(shí),識(shí)別精度會(huì)下降。原因是隨著樣本長(zhǎng)度的增大,用于識(shí)別的指紋特征已經(jīng)達(dá)到飽和,識(shí)別精度變化就不明顯。另外,隨著樣本長(zhǎng)度的增大,用于訓(xùn)練和測(cè)試的樣本減少,測(cè)試精度就會(huì)受到較大影響。在高信噪比的情況下,模型能夠較容易識(shí)別不同類(lèi)信號(hào),識(shí)別精度在不同樣本長(zhǎng)度下的變化不明顯;在低信噪比的情況下,識(shí)別精度對(duì)參數(shù)的變化較敏感,所以在不同樣本長(zhǎng)度下的變化較大。綜合實(shí)驗(yàn)結(jié)果來(lái)看,選取樣本長(zhǎng)度為800個(gè)采樣點(diǎn)進(jìn)行后續(xù)實(shí)驗(yàn)。
圖6 不同樣本長(zhǎng)度下的識(shí)別準(zhǔn)確率對(duì)比Fig.6 Comparison of recognition rate with different sample lengths
3.2.2 不同λ下的性能對(duì)比
選取樣本長(zhǎng)度為800,對(duì)比在閉集和開(kāi)集環(huán)境下信噪比在-10~6 dB之間變化時(shí)不同λ對(duì)應(yīng)的測(cè)試精度。閉集和開(kāi)集環(huán)境下的識(shí)別準(zhǔn)確率如圖7所示??梢钥闯?實(shí)驗(yàn)結(jié)果驗(yàn)證了PL損失的理論分析。λ決定了每一個(gè)類(lèi)別的聚集程度,進(jìn)而影響了類(lèi)別之間的距離分布,使得不同λ下的識(shí)別性能也不同。通過(guò)實(shí)驗(yàn)得出,當(dāng)λ為0.05左右時(shí),識(shí)別性能最好。λ取值從0開(kāi)始增大時(shí),每一類(lèi)特征的類(lèi)內(nèi)緊密度會(huì)逐漸增高,繼而擴(kuò)增了類(lèi)間距離,既提高了對(duì)已知樣本分類(lèi)能力,也增強(qiáng)了對(duì)未知目標(biāo)的檢測(cè)和拒絕能力。隨著λ的進(jìn)一步增大,識(shí)別性能趨于穩(wěn)定。當(dāng)λ過(guò)大時(shí),PL損失對(duì)樣本空間的約束就越大,就會(huì)將訓(xùn)練集的每一類(lèi)樣本空間過(guò)度縮小到類(lèi)原型的附近,加重了過(guò)擬合現(xiàn)象。當(dāng)輸入測(cè)試樣本時(shí),測(cè)試集的樣本空間分布會(huì)大于訓(xùn)練收斂后的樣本空間分布,在通過(guò)類(lèi)原型之間的距離進(jìn)行判別時(shí)就會(huì)影響識(shí)別性能。同樣地,在低信噪比下變化更明顯,因此選擇合適的λ對(duì)識(shí)別性能至關(guān)重要。另外,PL損失對(duì)開(kāi)集識(shí)別的作用更明顯,其作用原理也更適合對(duì)未知類(lèi)目標(biāo)的檢測(cè)。
(a)對(duì)閉集識(shí)別準(zhǔn)確率的影響
圖8為開(kāi)集識(shí)別下不同λ所對(duì)應(yīng)的全連接層2維輸入特征分布??梢钥闯?在DCE損失的作用下,可以完成對(duì)已知類(lèi)的分類(lèi)和對(duì)未知目標(biāo)的檢測(cè),但從樣本的分布來(lái)看,準(zhǔn)確率和穩(wěn)定性還不夠高。在加入PL損失后,通過(guò)提高類(lèi)內(nèi)緊密度的方式擴(kuò)大未知空間的分布,同時(shí)使得已知類(lèi)樣本和未知類(lèi)樣本在特征空間更加分離,繼而提高了開(kāi)集識(shí)別準(zhǔn)確率和魯棒性。
(a)λ=0時(shí)的訓(xùn)練特征分布 (b)λ=0時(shí)的測(cè)試特征分布
3.3.1 閉集環(huán)境下的識(shí)別性能對(duì)比
參照之前的實(shí)驗(yàn)結(jié)果,選取信號(hào)樣本長(zhǎng)度為800,λ為0.05,信噪比變化范圍為-10~10 dB,將本文提出的原型網(wǎng)絡(luò)模型PN-SE與未加入SE模塊的原型網(wǎng)絡(luò)PN和未加入原型學(xué)習(xí)的一維卷積神經(jīng)網(wǎng)絡(luò)CNN-SE進(jìn)行識(shí)別性能對(duì)比。為了進(jìn)一步說(shuō)明本文模型相較于其它模型的性能優(yōu)勢(shì),同時(shí)將本文模型與DCTF-CNN[8]、PACGAN[9]、LSTM-CNN[15]這3種不同網(wǎng)絡(luò)模型進(jìn)行對(duì)比,以上幾種模型都是針對(duì)ZigBee設(shè)備進(jìn)行識(shí)別的。在對(duì)比實(shí)驗(yàn)中,使用本文數(shù)據(jù)集,按照相應(yīng)的數(shù)據(jù)處理方式進(jìn)行處理。
閉集環(huán)境下不同模型的識(shí)別準(zhǔn)確率對(duì)比如圖9所示。可以看出:引入原型學(xué)習(xí)思想,采用聯(lián)合損失函數(shù)后可以在同等網(wǎng)絡(luò)結(jié)構(gòu)下增強(qiáng)模型的識(shí)別性能。在加入SE模塊后,通過(guò)引入注意力機(jī)制改變了通道權(quán)重,可以提高原型網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。在較低信噪比下,本文提出的模型有較大的性能優(yōu)勢(shì)。當(dāng)信噪比大于0 dB時(shí),本文模型識(shí)別精度可達(dá)到95%以上;當(dāng)信噪比大于6 dB時(shí),本文模型識(shí)別精度可達(dá)到99%以上。另外,通過(guò)實(shí)驗(yàn)和分析得到,將信號(hào)轉(zhuǎn)化成DCTF圖像會(huì)丟失掉一些細(xì)微特征,導(dǎo)致在低信噪比下識(shí)別準(zhǔn)確率不佳。
圖9 閉集環(huán)境下不同模型的識(shí)別準(zhǔn)確率對(duì)比Fig.9 Comparison of recognition rate with different models in close set scenes
3.3.2 開(kāi)集環(huán)境的識(shí)別性能對(duì)比
為了說(shuō)明本文模型PN-SE-Open在開(kāi)集識(shí)別中的優(yōu)越性能,首先將本文模型與未加入SE模塊的PN-Open模型進(jìn)行對(duì)比,然后將本文模型與基于OpenMax[7-18]的開(kāi)集識(shí)別模型進(jìn)行對(duì)比,最后再對(duì)比本文模型在開(kāi)集環(huán)境和閉集環(huán)境下的性能差別,閉集環(huán)境下的識(shí)別曲線(xiàn)為PN-SE-Close。所有模型均采用本文所用數(shù)據(jù)集,對(duì)比結(jié)果如圖10所示。
圖10 不同模型的識(shí)別準(zhǔn)確率對(duì)比Fig.10 Comparison of recognition rate with different models
可以看出,本文模型在開(kāi)集場(chǎng)景下相較于其他模型具有更好的識(shí)別性能,當(dāng)信噪比為0 dB以上時(shí),可達(dá)到95%的識(shí)別準(zhǔn)確率。在加入SE模塊后,尤其是在低信噪比下,開(kāi)集識(shí)別的性能有較大提升。另外,當(dāng)信噪比為-6 dB以上時(shí),開(kāi)集識(shí)別準(zhǔn)確率和閉集識(shí)別準(zhǔn)確率相當(dāng),這也充分說(shuō)明了本文模型在不同識(shí)別場(chǎng)景下均可以達(dá)到良好的識(shí)別性能。
在-6、0、6 dB下,開(kāi)集識(shí)別的混淆矩陣如圖11所示??梢钥闯?第1類(lèi)和第2類(lèi)設(shè)備容易混淆,第3類(lèi)較為獨(dú)立。即使在較低信噪比下,第4類(lèi)和第5類(lèi)設(shè)備的信號(hào)作為未知類(lèi)目標(biāo)也能夠很好的被檢測(cè)和拒絕。
(a)-6 dB下的混淆矩陣
本文在原型網(wǎng)絡(luò)模型下,通過(guò)自適應(yīng)距離分類(lèi)規(guī)則實(shí)現(xiàn)了ZigBee設(shè)備個(gè)體的開(kāi)集識(shí)別。在一維卷積神經(jīng)網(wǎng)絡(luò)中加入SE 模塊,通過(guò)調(diào)整通道權(quán)重加強(qiáng)分類(lèi)能力;結(jié)合DCE損失和PL損失對(duì)網(wǎng)絡(luò)的參數(shù)和原型進(jìn)行聯(lián)合訓(xùn)練,同時(shí)更新網(wǎng)絡(luò)參數(shù)和原型,有效地提高了網(wǎng)絡(luò)的識(shí)別性能;通過(guò)引入PL損失,以提高類(lèi)內(nèi)緊密度的方式擴(kuò)大了類(lèi)間距離,進(jìn)一步增強(qiáng)了模型的分類(lèi)能力;通過(guò)自適應(yīng)距離分類(lèi)規(guī)則,完成了開(kāi)集場(chǎng)景下的輻射源個(gè)體識(shí)別,免去了人工閾值的設(shè)定。通過(guò)實(shí)驗(yàn)對(duì)比可知,本文提出的網(wǎng)絡(luò)模型在閉集環(huán)境和開(kāi)集環(huán)境下都具有更高的識(shí)別精度和泛化性。后續(xù)研究應(yīng)著重改進(jìn)分類(lèi)規(guī)則,提高基于原型的距離分類(lèi)規(guī)則的魯棒性,同時(shí)應(yīng)加強(qiáng)對(duì)未知類(lèi)樣本空間的建模和分析。