一種優(yōu)化孿生網(wǎng)絡(luò)的小樣本輻射源個(gè)體識(shí)別方法*

梁先明

(中國(guó)西南電子技術(shù)研究所，成都 610036)

0 引 言

近些年，國(guó)內(nèi)外對(duì)于輻射源的“指紋”識(shí)別技術(shù)研究一直都在持續(xù)進(jìn)行，提出了多種可用的分類特征。文獻(xiàn)[1]利用提取信號(hào)功率譜峰值特征和包絡(luò)模板，構(gòu)造通信輻射源個(gè)體特征向量，通過(guò)樸素貝葉斯分類算法與個(gè)體特征矢量相結(jié)合，可進(jìn)行有效通信輻射源個(gè)體識(shí)別。前期研究結(jié)果顯示，通常暫態(tài)特征對(duì)于個(gè)體識(shí)別更明顯和有效，但是暫態(tài)特征持續(xù)時(shí)間短且捕獲困難。在穩(wěn)態(tài)特征方面，有研究者基于分形理論，通過(guò)研究穩(wěn)態(tài)信號(hào)的包絡(luò)盒維數(shù)、步維數(shù)及信息維數(shù)完成信號(hào)細(xì)微特征分析，并利用不同信噪比條件下的信號(hào)分形維數(shù)作為通信電臺(tái)個(gè)體識(shí)別的特征，可有效進(jìn)行通信電臺(tái)個(gè)體識(shí)別[2]。

然而，隨著元器件制作工藝的改進(jìn)、通信和雷達(dá)裝備制作水平的提升，輻射源個(gè)體之間的差異性正在逐漸縮小。傳統(tǒng)個(gè)體識(shí)別方法中的信號(hào)特征將難以體現(xiàn)個(gè)體之間的差異，依賴人為提取特征的傳統(tǒng)輻射源個(gè)體識(shí)別方法正逐漸失去作用，必須從信號(hào)本身出發(fā)提取更高層次的輻射源細(xì)微特征。

隨著機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)技術(shù)發(fā)展，有研究者基于高階譜和時(shí)域分析的電臺(tái)穩(wěn)態(tài)特征提取進(jìn)行深度學(xué)習(xí)提取指紋識(shí)別，提升識(shí)別準(zhǔn)確度[3]。隨著流形學(xué)習(xí)理論的深入研究，有研究者先對(duì)信號(hào)樣本進(jìn)行雙譜變換，然后利用正交局部樣條判別嵌入方法深入提取輻射源的指紋特征，改善輻射源個(gè)體特征識(shí)別方法的魯棒性。由于深度學(xué)習(xí)具備自動(dòng)抽象的提取特征能力，也有研究者直接采用IQ數(shù)據(jù)作為輸入，利用支持向量機(jī)(Support Vector Machine,SVM)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、深度卷積網(wǎng)絡(luò)(Deep Convolutional Neural Network,DNN)等神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，重點(diǎn)強(qiáng)調(diào)多階段訓(xùn)練的機(jī)制[4]。有研究者利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行射頻指紋識(shí)別，對(duì)7臺(tái)ZigBee設(shè)備進(jìn)行了驗(yàn)證，準(zhǔn)確率達(dá)到了92.29%[5]；或?qū)椛湓葱盘?hào)的IQ數(shù)據(jù)采用復(fù)值神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識(shí)別[6]。

對(duì)于小樣本輻射源個(gè)體識(shí)別研究，文獻(xiàn)[7]先通過(guò)高階譜變換預(yù)處理提取高維特征，利用大量無(wú)標(biāo)簽樣本首先對(duì)特征提取模型進(jìn)行預(yù)訓(xùn)練，再通過(guò)少量有標(biāo)簽樣本進(jìn)行監(jiān)督精校，從而可以提高在小樣本條件下對(duì)通信輻射源指紋特征的表征能力；文獻(xiàn)[8]提出了基于半監(jiān)督矩形網(wǎng)絡(luò)，通過(guò)將提取的電臺(tái)信號(hào)的積分雙譜特征擾動(dòng)并結(jié)合解碼器重構(gòu)低維特征進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，從而實(shí)現(xiàn)弱標(biāo)簽電臺(tái)信號(hào)的個(gè)體識(shí)別，能夠得到比較準(zhǔn)確的識(shí)別結(jié)果，不過(guò)主要針對(duì)樣本多但是標(biāo)注少的問(wèn)題；文獻(xiàn)[9]對(duì)于小樣本特征提取提出了變分模態(tài)分解提取穩(wěn)態(tài)信號(hào)高維信息熵，再利用指數(shù)半監(jiān)督判別法映射信息熵形成個(gè)體特征，再通過(guò)極端梯度提升樹(shù)算法(eXtreme Gradient Boosting，XGBoost)進(jìn)行輻射源個(gè)體識(shí)別；文獻(xiàn)[10]提出了基于預(yù)測(cè)置信度進(jìn)行迭代的改進(jìn)算法，結(jié)合雙譜變化、主成分分析降維以及直推式支持向量機(jī)，能夠大幅降低運(yùn)算量，也適用于標(biāo)簽樣本少、無(wú)標(biāo)簽樣本多的樣本場(chǎng)景；文獻(xiàn)[11]基于數(shù)據(jù)相似度量學(xué)習(xí)，利用孿生網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了類別多而樣本少的人臉識(shí)別方面，取得了比較好的識(shí)別效果；文獻(xiàn)[12]基于改進(jìn)深度孿生網(wǎng)絡(luò)提取交通標(biāo)識(shí)圖像多尺度特征，結(jié)合空間變化器網(wǎng)絡(luò)實(shí)現(xiàn)高效分類器，提升交通識(shí)別準(zhǔn)確率。

本文主要考慮沒(méi)有大樣本數(shù)據(jù)輔助訓(xùn)練僅有小樣本標(biāo)簽訓(xùn)練模型的情況下，基于度量學(xué)習(xí)原理提出一種孿生網(wǎng)絡(luò)優(yōu)化的方法實(shí)現(xiàn)小樣本通信輻射源的個(gè)體智能識(shí)別，提升不同類樣本之間特征距離增大速度和相似類樣本特征之間的距離減小速度，實(shí)現(xiàn)損失函數(shù)的快速收斂，從而提升小樣本個(gè)體識(shí)別的性能。

1 基于孿生網(wǎng)絡(luò)的個(gè)體識(shí)別

在小樣本條件下采用基于度量學(xué)習(xí)的方法，能夠?qū)W習(xí)到一種特征空間，基本思想是學(xué)習(xí)數(shù)據(jù)點(diǎn)之間的距離函數(shù)。度量學(xué)習(xí)算法通過(guò)將測(cè)試樣本與訓(xùn)練集進(jìn)行比較來(lái)對(duì)其分類，測(cè)試樣本標(biāo)簽取決于與其最接近的訓(xùn)練樣本。

常采用的分類方式是使用k近鄰方法，即使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，在測(cè)試階段僅需計(jì)算測(cè)試樣本與訓(xùn)練集中每個(gè)樣本的歐氏距離，選擇最小值的標(biāo)簽：

(1)

但該方法并未在訓(xùn)練階段考慮到樣本間的距離問(wèn)題，且歐氏距離會(huì)陷入嚴(yán)重的維度災(zāi)難問(wèn)題。因此本文在小樣本條件下，采用孿生網(wǎng)絡(luò)方法[4]對(duì)輻射源個(gè)體分類。

孿生網(wǎng)絡(luò)屬于基于度量學(xué)習(xí)的方法，其原理是將兩個(gè)樣本數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，輸出標(biāo)簽0和1，其中0代表兩個(gè)樣本類別相同，1代表兩個(gè)樣本類別不同，通過(guò)神經(jīng)網(wǎng)絡(luò)架構(gòu)同時(shí)輸入兩個(gè)樣本，輸出它們屬于同一類別的概率。

假設(shè)x1和x2是數(shù)據(jù)集中的兩個(gè)樣本，顛倒輸入樣本順序，輸出概率完全相同，孿生網(wǎng)絡(luò)依賴該對(duì)稱性設(shè)計(jì)。因此讓兩個(gè)輸入樣本通過(guò)結(jié)構(gòu)相同、共享參數(shù)的網(wǎng)絡(luò)，然后使用絕對(duì)差分作為線性分類器的輸入。該共享參數(shù)的網(wǎng)絡(luò)選用深度殘差網(wǎng)絡(luò)(ResNet)，孿生網(wǎng)絡(luò)結(jié)構(gòu)如圖1[13]所示。

圖1 孿生網(wǎng)絡(luò)模型結(jié)構(gòu)圖

圖1中X1、X2是網(wǎng)絡(luò)的輸入，W是ResNet網(wǎng)絡(luò)共享的參數(shù)，GW(X1)、GW(X2)為ResNet網(wǎng)絡(luò)的輸出，負(fù)責(zé)將原始樣本向特征空間轉(zhuǎn)化，稱為映射函數(shù)。計(jì)算X1和X2之間的相關(guān)性，能量函數(shù)EW(X1,X2)表示X1與X2樣本低維特征相似性度量，相似性度量為映射函數(shù)的歐氏距離：

EW(X1,X2)=‖GW(X1)-GW(X2)‖。

(2)

為使X1、X2來(lái)自同一類時(shí)EW(X1,X2)小，反之則EW(X1,X2)大，因此孿生網(wǎng)絡(luò)的損失函數(shù)設(shè)為

L(W,(Y,X1,X2)i)=(1-Y)LG(EW(X1,X2)i)+

YLI(EW(X1,X2)i)。

(3)

式中：Y為二進(jìn)制標(biāo)記，0表示相同對(duì)，1表示不同對(duì)，(Y,X1,X2)i為第i個(gè)樣本對(duì)；LG為相同對(duì)的損失函數(shù)；LI為不同對(duì)的損失函數(shù)。將歐氏距離作為相似性度量函數(shù)，式(3)可改寫(xiě)為

(4)

式中：m為超參數(shù)，當(dāng)X1、X2屬于不同類別，Y=1，隨著EW(X1,X2)增大，則損失函數(shù)減小；當(dāng)X1、X2屬于相同類別，Y=0，隨著EW(X1,X2)減小，損失函數(shù)減小，如圖2所示。因此對(duì)于孿生網(wǎng)絡(luò)，訓(xùn)練過(guò)程也就是不斷增大不同對(duì)的EW(X1,X2)，減小相同對(duì)的EW(X1,X2)，從而不斷迭代減小損失函數(shù)。

圖2 損失函數(shù)與EW的關(guān)系圖

孿生網(wǎng)絡(luò)的損失函數(shù)使相同類別樣本間距減小，不同類別樣本間距增大。該模型也可以用彈簧模型來(lái)說(shuō)明。

通常彈簧模型可以用以下公式表達(dá)：

F=-KX。

(5)

式中：F是彈力；K是彈簧系數(shù)；X是彈簧從靜止長(zhǎng)度的位移，負(fù)表示排斥力，正表示吸引力。假設(shè)彈簧靜止長(zhǎng)度為m，那么當(dāng)X>m時(shí)彈簧兩端則只有吸引力，而X

先考慮損失函數(shù)在相同對(duì)的損失函數(shù)

LG梯度為

(6)

圖3 相同對(duì)的彈簧模型

再考慮不相同樣本訓(xùn)練損失函數(shù)

LI梯度為

(7)

圖4 不同對(duì)的彈簧模型

對(duì)于圖3中彈簧吸引力模型，不能簡(jiǎn)單認(rèn)為需要達(dá)到EW=0的最終狀態(tài)，因?yàn)椴煌南嗤瑢?duì)都會(huì)對(duì)于中心點(diǎn)產(chǎn)生吸引力，如圖5所示，相同對(duì)樣本b1與b2、b1和b3都會(huì)產(chǎn)生與中心點(diǎn)樣本b1的吸引力，如果減小樣本b1和b2的EW，那么會(huì)增大樣本b1和b3之間的EW，最終的損失函數(shù)需要達(dá)到所有不同對(duì)之間的綜合平衡。

圖5 相同對(duì)之間的綜合平衡圖

由于孿生網(wǎng)絡(luò)輸入是數(shù)據(jù)對(duì)，采用逐對(duì)訓(xùn)練，所以會(huì)有平方級(jí)別對(duì)的信號(hào)樣本對(duì)來(lái)訓(xùn)練模型，即訓(xùn)練數(shù)據(jù)對(duì)的數(shù)量相較單個(gè)數(shù)據(jù)數(shù)量增多，從而也可以使模型不易過(guò)擬合。

2 孿生網(wǎng)絡(luò)的網(wǎng)絡(luò)優(yōu)化

在采用孿生網(wǎng)絡(luò)方法解決小樣本問(wèn)題時(shí)，仍會(huì)存在以下問(wèn)題：一是孿生網(wǎng)絡(luò)更關(guān)注于不同樣本間的距離關(guān)系，即聚類損失，而忽略了樣本的分類損失，使特征空間的不同維度的意義不明；二是僅使用距離度量作為損失函數(shù)時(shí)，訓(xùn)練過(guò)程較為不穩(wěn)定，識(shí)別準(zhǔn)確率差別較大。

因此針對(duì)上述問(wèn)題，本文優(yōu)化孿生網(wǎng)絡(luò)損失函數(shù)，使之更適用于小樣本條件下的輻射源分類識(shí)別任務(wù)。

根據(jù)信息論中交叉熵的概念,觀察者調(diào)整自己輸出的主觀概率q，通過(guò)網(wǎng)絡(luò)學(xué)習(xí)可以達(dá)到與實(shí)際概率p相同時(shí)，交叉熵最小[13]。交叉熵在神經(jīng)網(wǎng)絡(luò)中應(yīng)用非常廣泛，因此考慮在孿生網(wǎng)絡(luò)損失函數(shù)基礎(chǔ)上引入交叉熵?fù)p失函數(shù)：

(8)

引入加權(quán)因子α，損失函數(shù)改寫(xiě)為

α(J(Gw(X1),Y1)+J(Gw(X2),Y2))。

(9)

式中：α用于調(diào)節(jié)交叉熵?fù)p失函數(shù)與孿生網(wǎng)絡(luò)損失函數(shù)的權(quán)重比值——當(dāng)α取0，上式即為孿生網(wǎng)絡(luò)損失函數(shù)，趨于聚類損失；當(dāng)α取值較大，上式趨于分類損失。在該試驗(yàn)中，α取值與m一致，均為5。因此，改進(jìn)后孿生網(wǎng)絡(luò)輸入標(biāo)簽為Y、Y1、Y2，其中Y代表兩個(gè)樣本類別是否相同，標(biāo)簽Y1、Y2為輸入樣本x1、x2的類別標(biāo)簽，改進(jìn)孿生網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。其中ResNet網(wǎng)絡(luò)的輸出為1×10維的特征向量，既用于距離度量，也用于分類。

圖6 改進(jìn)孿生網(wǎng)絡(luò)結(jié)構(gòu)圖

采用優(yōu)化后的孿生網(wǎng)絡(luò)實(shí)現(xiàn)小樣本個(gè)體識(shí)別算法流程如下：

Step1 使用ResNet11分類網(wǎng)絡(luò)構(gòu)建孿生網(wǎng)絡(luò)結(jié)構(gòu)，將輻射源1～10的所有樣本隨機(jī)兩兩分類，兩樣本屬于同一類時(shí)打上標(biāo)簽0，否則標(biāo)簽為1。將重新編排后的數(shù)據(jù)送入孿生網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

Step2 訓(xùn)練完成后，保存孿生網(wǎng)絡(luò)權(quán)重。

Step3 將訓(xùn)練集輻射源1～10送入孿生網(wǎng)絡(luò)結(jié)構(gòu)中的ResNet11中進(jìn)行預(yù)測(cè)，得到樣本映射至了新的特征空間，并計(jì)算該類樣本在特征空間的平均值，作為這類數(shù)據(jù)在特征空間的位置。

Step4 輸入測(cè)試集，將測(cè)試集樣本映射至特征空間，計(jì)算其與每一類數(shù)據(jù)在特征空間的歐氏距離，取與其最近的類別作為樣本預(yù)測(cè)標(biāo)簽，輸出識(shí)別結(jié)果。

識(shí)別具體流程框圖如圖7所示。

圖7 基于孿生網(wǎng)絡(luò)的小樣本識(shí)別流程圖

3 試驗(yàn)驗(yàn)證

試驗(yàn)中以10部某型號(hào)同批次的通信電臺(tái)輻射源信號(hào)作為數(shù)據(jù)集，電臺(tái)通信頻段為超短波，調(diào)制方式為8PSK；信號(hào)持續(xù)時(shí)間為20 ms，調(diào)制速率為50 kb/s；單個(gè)樣本為10 000點(diǎn)的IQ基帶信號(hào)，每類訓(xùn)練集為5個(gè)樣本。驗(yàn)證集為5個(gè)樣本，測(cè)試集為20個(gè)樣本。為排除其他因素對(duì)試驗(yàn)結(jié)果的影響，采用相同接收機(jī)采集信號(hào)，且10臺(tái)發(fā)射機(jī)發(fā)射信號(hào)內(nèi)容均相同。

為排除訓(xùn)練過(guò)程隨機(jī)因素產(chǎn)生的影響，每個(gè)試驗(yàn)均進(jìn)行了10次，取平均值為該方法的識(shí)別準(zhǔn)確率，如表1所示。

表1 不同網(wǎng)絡(luò)小樣本個(gè)體識(shí)別準(zhǔn)確率對(duì)比

3.1 Resnet網(wǎng)絡(luò)的試驗(yàn)驗(yàn)證

表2是10次ResNet訓(xùn)練準(zhǔn)確率情況，10個(gè)輻射源個(gè)體識(shí)別混淆矩陣如圖8所示，平均正確率在69%左右，同時(shí)對(duì)于輻射源1、2、6、10的個(gè)體識(shí)別率都小于35%。

表2 ResNet網(wǎng)絡(luò)多次訓(xùn)練個(gè)體識(shí)別結(jié)果

圖8 Resnet網(wǎng)絡(luò)個(gè)體識(shí)別混淆矩陣

3.2 孿生網(wǎng)絡(luò)的試驗(yàn)驗(yàn)證

表3為10次孿生網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率情況，10個(gè)輻射源個(gè)體識(shí)別混淆矩陣如圖9所示，平均正確率在83%左右，對(duì)于輻射源9、10個(gè)體識(shí)別效果最差，其識(shí)別準(zhǔn)確率優(yōu)于50%。

表3 孿生網(wǎng)絡(luò)多次訓(xùn)練個(gè)體識(shí)別結(jié)果

圖9 孿生網(wǎng)絡(luò)個(gè)體識(shí)別混淆矩陣

3.3 孿生網(wǎng)絡(luò)優(yōu)化的試驗(yàn)驗(yàn)證

3.3.1 識(shí)別準(zhǔn)確率

表4為對(duì)于孿生網(wǎng)絡(luò)經(jīng)損失函數(shù)修改后的訓(xùn)練準(zhǔn)確率情況，10個(gè)輻射源個(gè)體識(shí)別混淆矩陣如圖10所示，平均正確率在88.5%左右；同時(shí)對(duì)于輻射源7、10個(gè)體識(shí)別效果最差，其識(shí)別準(zhǔn)確率優(yōu)于60%以上。

表4 孿生網(wǎng)絡(luò)優(yōu)化后多次訓(xùn)練個(gè)體識(shí)別結(jié)果

圖10 孿生網(wǎng)絡(luò)優(yōu)化個(gè)體識(shí)別混淆矩陣

在孿生網(wǎng)絡(luò)進(jìn)行個(gè)體識(shí)別中，網(wǎng)絡(luò)優(yōu)化后性能得到了提升，為了嘗試分析其原因，筆者進(jìn)行了部分樣本測(cè)試試驗(yàn)：孿生網(wǎng)絡(luò)中ResNet網(wǎng)絡(luò)主要完成低維特征提取，因此觀察ResNet的10維輸出，尋求其規(guī)律。

3.3.2 當(dāng)孿生網(wǎng)絡(luò)不進(jìn)行優(yōu)化

ResNet輸出特征空間上10類訓(xùn)練集樣本的中心點(diǎn)數(shù)據(jù)如圖11所示，第0行即為第一個(gè)樣本中心點(diǎn)的數(shù)據(jù)。

圖11 孿生網(wǎng)絡(luò)不優(yōu)化ResNet輸出特征

由圖11可知，在10維的特征空間上，每一維沒(méi)有明確的意義，比較雜亂。

3.3.3 孿生網(wǎng)絡(luò)優(yōu)化后

ResNet輸出特征空間上10類訓(xùn)練集樣本的中心點(diǎn)數(shù)據(jù)如圖12所示，第0行即為第一個(gè)樣本中心點(diǎn)的數(shù)據(jù)。

圖12 孿生網(wǎng)絡(luò)優(yōu)化后ResNet輸出特征

由圖12可知，在10維的特征空間上，可以看出，訓(xùn)練集中心點(diǎn)在該類別的維度上的值最大，具有明顯的特征，也具備一定的特征向量可解釋性。

對(duì)于大多數(shù)的常規(guī)樣本，通常比較典型的測(cè)試樣本經(jīng)孿生網(wǎng)絡(luò)中的ResNet網(wǎng)絡(luò)輸出的特征向量滿足圖12的分布，例如第1個(gè)測(cè)試集樣本的特征向量如表5所示。

表5 樣本1的ResNet網(wǎng)絡(luò)輸出特征向量(10維)

該樣本采用ResNet分類，與度量分類均可正確分類為第0類，其與各類別中心的距離如圖13(a)所示。

(a)樣本1

(b)樣本4圖13 樣本與各類別中心距離

對(duì)于少數(shù)的特殊樣本，例如第4個(gè)測(cè)試集樣本的特征向量如表6所示。

樣本4本來(lái)屬于輻射源編號(hào)0，如果采用ResNet分類，其ResNet網(wǎng)絡(luò)輸出特征向量期望是第一個(gè)值最大，而實(shí)際上特征向量第6維上值最大，因此會(huì)將其分為第6類；若采用度量分類，其與第0類的訓(xùn)練集中心點(diǎn)的歐氏距離小于第6類，因此會(huì)將其正確分為第0類，其與各類別中心的距離如圖13(b)所示，由此也可以說(shuō)明采用孿生網(wǎng)絡(luò)適應(yīng)能力比單純ResNet網(wǎng)絡(luò)更適應(yīng)于小樣本分類的情形。

4 結(jié)束語(yǔ)

本文主要針對(duì)小樣本信號(hào)輻射源個(gè)體識(shí)別網(wǎng)絡(luò)難以穩(wěn)定收斂的問(wèn)題，提出了孿生網(wǎng)絡(luò)以及一種損失函數(shù)優(yōu)化的網(wǎng)絡(luò)模型，并對(duì)模型進(jìn)行了分析，論證了訓(xùn)練過(guò)程中可以實(shí)現(xiàn)不相同樣本之間特征距離增大和相同類樣本特征之間的距離減小的彈簧模型以及實(shí)現(xiàn)損失函數(shù)的快速收斂的原理。基于該模型進(jìn)行了通信電臺(tái)信號(hào)小樣本輻射源個(gè)體識(shí)別試驗(yàn)驗(yàn)證，個(gè)體識(shí)別效果得到明顯的提升,針對(duì)每類不大于10個(gè)訓(xùn)練樣本集的通信電臺(tái)能夠達(dá)到88%以上個(gè)體識(shí)別準(zhǔn)確率。初步分析了網(wǎng)絡(luò)優(yōu)化提升的可解釋性，說(shuō)明了方法的有效性和穩(wěn)定性。

本文中孿生網(wǎng)絡(luò)彈簧模型也可以用于優(yōu)化一般二分類或者包含未知的開(kāi)集識(shí)別，提升分類的收斂速度和泛化能力。