王金強(qiáng),孫閩紅,唐向宏,仇兆煬,曾德國(guó)
研究與開發(fā)
小樣本下雷達(dá)復(fù)合干擾半監(jiān)督遷移學(xué)習(xí)識(shí)別方法
王金強(qiáng)1,孫閩紅1,唐向宏1,仇兆煬1,曾德國(guó)2
(1. 杭州電子科技大學(xué)通信工程學(xué)院,浙江 杭州 310018;2. 中國(guó)航天科工集團(tuán)八五一一研究所,江蘇 南京 210007)
針對(duì)雷達(dá)復(fù)合干擾信號(hào)種類越來(lái)越多以及訓(xùn)練樣本過(guò)少難以令深度學(xué)習(xí)模型達(dá)到最優(yōu)狀態(tài)的問(wèn)題,提出一種在小樣本下雷達(dá)復(fù)合干擾半監(jiān)督遷移學(xué)習(xí)識(shí)別的方法,通過(guò)未帶標(biāo)簽樣本來(lái)解決標(biāo)簽樣本難以獲取而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練精度不高的問(wèn)題,將在單一干擾數(shù)據(jù)集預(yù)訓(xùn)練后得到的特征提取器和分類器遷移到小規(guī)模復(fù)合干擾數(shù)據(jù)集上,并利用權(quán)重印記和半監(jiān)督學(xué)習(xí)對(duì)模型進(jìn)行微調(diào),通過(guò)所提出的最近鄰相關(guān)性損失(nearest neighbor correlation loss,NNCL)來(lái)優(yōu)化模型參數(shù)。實(shí)驗(yàn)結(jié)果表明,在干噪比為10 dB、新類復(fù)合干擾信號(hào)帶標(biāo)簽樣本僅有5個(gè)時(shí),模型可達(dá)93.20%的識(shí)別準(zhǔn)確率。
雷達(dá)抗干擾;復(fù)合干擾識(shí)別;遷移學(xué)習(xí);權(quán)重印記;半監(jiān)督學(xué)習(xí)
在真實(shí)的電磁干擾環(huán)境中干擾樣式多種多樣[1],雷達(dá)復(fù)合干擾作為新型干擾樣式,給雷達(dá)帶來(lái)了嚴(yán)重威脅[2]。文獻(xiàn)[3]指出復(fù)合干擾對(duì)現(xiàn)代雷達(dá)對(duì)抗系統(tǒng)的影響比傳統(tǒng)的單一干擾更大,其復(fù)合方式主要包括加性、乘性和卷積。文獻(xiàn)[4]分析了不同復(fù)合干擾對(duì)雷達(dá)造成的威脅和不利影響,并給出了不同復(fù)合方式產(chǎn)生復(fù)合干擾的方法。
近年來(lái),基于深度學(xué)習(xí)的復(fù)合干擾識(shí)別取得了一些成果。文獻(xiàn)[4]提出了深度多標(biāo)簽的復(fù)合信號(hào)識(shí)別框架,通過(guò)構(gòu)造多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)6種干擾類型的任何組合方式進(jìn)行分類。文獻(xiàn)[5]對(duì)6種單一干擾和兩種單一干擾所產(chǎn)生的加性復(fù)合干擾進(jìn)行時(shí)頻分析和歸一化處理,將YOLOv5作為骨干網(wǎng)絡(luò),利用目標(biāo)檢測(cè)的思想解決復(fù)合干擾識(shí)別問(wèn)題。文獻(xiàn)[6]對(duì)加性復(fù)合干擾進(jìn)行建模,提出基于殘差網(wǎng)絡(luò)的多標(biāo)簽分類模型(ML-ResNet),利用多標(biāo)簽技術(shù)來(lái)設(shè)計(jì)殘差網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)加性復(fù)合干擾的分類。文獻(xiàn)[7]將4種壓制干擾進(jìn)行兩兩卷積產(chǎn)生6種卷積復(fù)合干擾,通過(guò)集成殘差塊和非對(duì)稱卷積塊,解決特征退化問(wèn)題并增強(qiáng)對(duì)細(xì)微特征的識(shí)別能力。以上研究所涉及的干擾均為單一干擾或單一復(fù)合干擾,對(duì)于不同方式復(fù)合的干擾研究較少。
另外,利用深度學(xué)習(xí)所進(jìn)行的干擾識(shí)別問(wèn)題往往需要利用大量的標(biāo)簽進(jìn)行訓(xùn)練,而在實(shí)際問(wèn)題中可供訓(xùn)練的標(biāo)簽往往較難獲得[8]。針對(duì)該問(wèn)題,遷移學(xué)習(xí)將源域與目標(biāo)域聯(lián)系起來(lái),把從源域所學(xué)到的知識(shí)用于針對(duì)目標(biāo)域的預(yù)測(cè)問(wèn)題[9],可以有效解決目標(biāo)域由于標(biāo)簽樣本過(guò)少而產(chǎn)生訓(xùn)練效果不好的問(wèn)題。但若源域與目標(biāo)域的特征相差較大,要尋找一個(gè)較好的特征表征方法來(lái)最小化域間差異。文獻(xiàn)[10]針對(duì)訓(xùn)練樣本采集量大、成本高的問(wèn)題,提出了一種基于神經(jīng)網(wǎng)絡(luò)的連體網(wǎng)絡(luò)用于雷達(dá)干擾信號(hào)分類,以解決訓(xùn)練樣本有限的問(wèn)題。文獻(xiàn)[11]利用遷移學(xué)習(xí)對(duì)雷達(dá)新型有源欺騙干擾進(jìn)行研究,針對(duì)小樣本問(wèn)題,提出了一種基于加權(quán)集成卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遷移學(xué)習(xí)的雷達(dá)有源欺騙干擾識(shí)別算法,提高了模型的泛化性能。但目前所涉及的遷移學(xué)習(xí)只考慮了利用少量帶標(biāo)簽樣本對(duì)網(wǎng)絡(luò)進(jìn)行性能的改進(jìn),而未帶標(biāo)簽樣本往往容易被忽略。
半監(jiān)督學(xué)習(xí)可以利用帶標(biāo)簽樣本和不帶標(biāo)簽樣本共同來(lái)調(diào)整網(wǎng)絡(luò)模型,不帶標(biāo)簽樣本起到輔助作用來(lái)提高網(wǎng)絡(luò)精確度。文獻(xiàn)[12]利用不帶標(biāo)簽樣本,基于softmax概率來(lái)迭代校正不帶標(biāo)簽樣本的預(yù)測(cè)標(biāo)簽,實(shí)現(xiàn)更加精確的識(shí)別準(zhǔn)確率。文獻(xiàn)[13]提出一種新的半監(jiān)督算法,使用不確定性感知貝葉斯神經(jīng)網(wǎng)絡(luò),以盡量減少不帶標(biāo)簽樣本所造成的有害影響,并提高了模型的泛化性能。但這些方法對(duì)于帶標(biāo)簽樣本和不帶標(biāo)簽樣本數(shù)量均有一定要求,在樣本數(shù)較少、僅有幾個(gè)帶標(biāo)簽樣本時(shí)效果往往較差。
針對(duì)上述不足,本文把半監(jiān)督遷移學(xué)習(xí)運(yùn)用到雷達(dá)復(fù)合干擾識(shí)別這一領(lǐng)域中,考慮目前對(duì)多種復(fù)合方式的研究較少,本文對(duì)加性、乘性、卷積3種復(fù)合方式所產(chǎn)生的復(fù)合干擾進(jìn)行研究,提出在小樣本情況下雷達(dá)復(fù)合干擾半監(jiān)督遷移學(xué)習(xí)的識(shí)別方法。采用深度寬殘差網(wǎng)絡(luò)作為特征提取的基網(wǎng)絡(luò),對(duì)基類數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,然后利用權(quán)重印記(weight imprinting,WI)[14]將支持集樣本的平均特征嵌入分類器中,得到一個(gè)更好的初始分類器,以使得在基類數(shù)據(jù)集上所訓(xùn)練的模型更好地過(guò)渡到小數(shù)據(jù)集上。最后,根據(jù)半監(jiān)督學(xué)習(xí)利用帶標(biāo)簽樣本和不帶標(biāo)簽樣本對(duì)模型進(jìn)行微調(diào),并提出最近鄰相關(guān)性損失(nearest neighbor correlation loss,NNCL)函數(shù)來(lái)最優(yōu)化網(wǎng)絡(luò)模型,得到更精確的識(shí)別結(jié)果。
本節(jié)主要介紹雷達(dá)復(fù)合干擾的生成以及小樣本下半監(jiān)督遷移學(xué)習(xí)的理論知識(shí)。
復(fù)合干擾是多個(gè)單一干擾信號(hào)的組合,一般的復(fù)合方式有加性、乘性和卷積,其中加性復(fù)合方式較為普遍,但乘性、卷積復(fù)合仍然是復(fù)合干擾的有效手段。本文重點(diǎn)研究欺騙干擾與壓制干擾、壓制干擾與壓制干擾在這3種復(fù)合方式下得到的復(fù)合干擾識(shí)別,具體包括以下12種組合——RD-AMN、R-VD-AMN、SMSP-AMN、RD-FMN、R-VD-FMN、SMSP-AMN、RD-COMB、R-VD- COMB、SMSP-COMB、COMB-AMN、COMB- FMN、AMN-FMN的加性、乘性和卷積復(fù)合,從而可得36種復(fù)合干擾類型。
在生成復(fù)合干擾信號(hào)之后對(duì)其進(jìn)行時(shí)頻變換,這里選用短時(shí)傅里葉變換(short-time Fourier transform,STFT),計(jì)算式為:
在訓(xùn)練集中選取6類單一干擾信號(hào)和回波信號(hào)的時(shí)頻圖如圖1所示。
在實(shí)際環(huán)境下,有標(biāo)簽的樣本獲取較難,而無(wú)標(biāo)簽的樣本獲取較易,半監(jiān)督學(xué)習(xí)可以利用帶標(biāo)簽樣本和不帶標(biāo)簽樣本對(duì)網(wǎng)絡(luò)模型進(jìn)行改善,更貼近真實(shí)情況。
本文根據(jù)遷移學(xué)習(xí)和半監(jiān)督學(xué)習(xí)適用的范圍,將遷移學(xué)習(xí)與半監(jiān)督學(xué)習(xí)結(jié)合,提出在小樣本下雷達(dá)復(fù)合干擾半監(jiān)督遷移學(xué)習(xí)的識(shí)別方法。主要思想為:將單一干擾信號(hào)作為源域并進(jìn)行預(yù)訓(xùn)練,把通過(guò)預(yù)訓(xùn)練得到的特征提取器和分類器遷移到復(fù)合干擾數(shù)據(jù)集(目標(biāo)域)上,并在目標(biāo)域進(jìn)行半監(jiān)督方式的微調(diào)操作。
算法模型框架如圖2所示,本文算法模型具體流程主要是:首先在帶有標(biāo)簽的基類數(shù)據(jù)集上預(yù)訓(xùn)練一個(gè)基模型,該模型盡可能多地編碼基類數(shù)據(jù)特征,以便后續(xù)在小樣本數(shù)據(jù)集上提供先驗(yàn)信息,然后將其作為特征提取器對(duì)新的帶有標(biāo)簽的支持集樣本進(jìn)行特征提取,初始化新類分類器的權(quán)值,為了減少特征的類內(nèi)差異,本文采用WI的方法來(lái)生成分類器的權(quán)重,更好地初始化分類器。最后,引入半監(jiān)督學(xué)習(xí)方法MixMatch[16]對(duì)分類器進(jìn)行進(jìn)一步的微調(diào),并通過(guò)所提的NNCL函數(shù)來(lái)懲罰新類數(shù)據(jù)與基類數(shù)據(jù)在訓(xùn)練時(shí)所得分類器的差異性,利用未帶標(biāo)簽數(shù)據(jù)來(lái)優(yōu)化分類器的最終輸出結(jié)果。
WI的原理為通過(guò)支持集中-way-shot樣本的平均特征向量來(lái)設(shè)置分類器權(quán)重,其中特征是通過(guò)預(yù)訓(xùn)練階段的模型而提取的。
在基類數(shù)據(jù)集上預(yù)訓(xùn)練所得到的分類器與在新類上微調(diào)之后所得到的分類器應(yīng)該較為相似,因此二者的最優(yōu)解也應(yīng)較為相似。但由于新類數(shù)據(jù)集上帶標(biāo)簽樣本較少,網(wǎng)絡(luò)很難通過(guò)訓(xùn)練得到一個(gè)較好的分類器模型??梢詫⒃诨悢?shù)據(jù)集上所得分類器遷移到新類數(shù)據(jù)集上,并對(duì)其進(jìn)行微調(diào),得到更優(yōu)的新類分類器模型。當(dāng)分類器最優(yōu)時(shí),損失函數(shù)的梯度應(yīng)該最小,可通過(guò)求其梯度的最小值來(lái)求得分類器的最優(yōu)解。基于該觀點(diǎn)提出NNCL函數(shù),提高小數(shù)據(jù)集上分類器的泛化性。
圖3 最近鄰相關(guān)性原理
對(duì)于損失函數(shù)而言:
則:
在通過(guò)WI得到充分吸收基類信息、初始化較好的分類器后,利用不帶標(biāo)簽樣本的測(cè)試過(guò)程對(duì)該分類器進(jìn)行微調(diào)。這個(gè)微調(diào)過(guò)程與半監(jiān)督學(xué)習(xí)相同。這里選用MixMatch方法,因?yàn)樗前氡O(jiān)督學(xué)習(xí)領(lǐng)域利用不帶標(biāo)簽樣本的一種整體方法。在半監(jiān)督學(xué)習(xí)中,為了使模型具有更好的性能,一般會(huì)在不帶標(biāo)簽樣本上加一個(gè)損失函數(shù),本文使用NNCL來(lái)代替MixMatch中原有的2損失。
最終最小化損失函數(shù)為:
殘差網(wǎng)絡(luò)通過(guò)殘差塊的堆疊可以實(shí)現(xiàn)樣本特征的有效提取,并且其獨(dú)特的殘差結(jié)構(gòu),可以較好地克服網(wǎng)絡(luò)過(guò)深而產(chǎn)生的梯度爆炸問(wèn)題,但是過(guò)深的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)導(dǎo)致特征丟失從而使提取到的特征利用率較低。為解決這個(gè)問(wèn)題,寬殘差網(wǎng)絡(luò)(wide residual network,WRN)[18]在殘差網(wǎng)絡(luò)(residual network)[19]的基礎(chǔ)上拓寬了網(wǎng)絡(luò)的寬度,利用淺層的寬殘差網(wǎng)絡(luò)來(lái)代替深層的殘差網(wǎng)絡(luò)結(jié)構(gòu)。殘差結(jié)構(gòu)如圖4所示。
圖4 殘差結(jié)構(gòu)
由導(dǎo)數(shù)鏈?zhǔn)椒▌t可求出損失函數(shù)的反向傳播梯度為:
由式(22)可知,由于表達(dá)式中有常數(shù)1,所以無(wú)論梯度多么小,該層的梯度均不會(huì)消失,避免了網(wǎng)絡(luò)較深時(shí)出現(xiàn)梯度爆炸問(wèn)題。而寬殘差網(wǎng)絡(luò)的結(jié)構(gòu)模型比普通殘差網(wǎng)絡(luò)更寬,故訓(xùn)練時(shí)獲取的特征信息更加豐富,并且能防止特征丟失,更適合用于復(fù)合干擾時(shí)頻圖中由于回波遠(yuǎn)弱于干擾而回波顯示不明顯的情形。
本文使用WRN-28-10[20]來(lái)對(duì)基類數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,其中28表示卷積層總數(shù),10表示加寬因子,WRN-28-10網(wǎng)絡(luò)模型見表1,并將網(wǎng)絡(luò)分類器部分設(shè)置為全連接層。
表1 WRN-28-10網(wǎng)絡(luò)模型
本文算法的訓(xùn)練偽代碼如下。
end
for iterations in WI do
end
for iterations in MixMatch do
forfrom 1 todo
end
組成兩個(gè)新數(shù)據(jù)集:
end
雷達(dá)接收信號(hào)包含3部分,即真實(shí)目標(biāo)回波、干擾信號(hào)和背景噪聲,具體的仿真參數(shù)設(shè)置見表2。
表2 仿真參數(shù)設(shè)置
對(duì)于預(yù)訓(xùn)練階段的基類數(shù)據(jù)集,使用仿真產(chǎn)生的6類單一干擾信號(hào),分別為距離欺騙(RD)、距離?速度欺騙(R-VD)、頻譜彌散(SMSP)、噪聲調(diào)幅(AMN)、噪聲調(diào)頻(FMN)、梳狀譜(COMB)。每種干擾信號(hào)在干噪比(JNR)為?16~10 dB,每隔2 dB采樣一次,每個(gè)JNR下500個(gè)樣本。
本文所設(shè)計(jì)的標(biāo)簽是將6類單一干擾信號(hào)的標(biāo)簽與36類復(fù)合干擾信號(hào)的標(biāo)簽分開設(shè)計(jì)的,即共有42類獨(dú)立標(biāo)簽。先用6類單一干擾信號(hào)進(jìn)行預(yù)訓(xùn)練,得到初始網(wǎng)絡(luò)模型,再將得到的網(wǎng)絡(luò)模型遷移到復(fù)合干擾數(shù)據(jù)集上,將36類復(fù)合干擾信號(hào)作為新類數(shù)據(jù)集,每次從中抽取5類(即5-way)來(lái)對(duì)遷移過(guò)來(lái)的網(wǎng)絡(luò)模型進(jìn)行權(quán)重印記及微調(diào)操作。
3.2.1 未帶標(biāo)簽樣本數(shù)量不同時(shí)的對(duì)比試驗(yàn)
為探討未帶標(biāo)簽樣本的數(shù)量對(duì)算法的影響,在JNR=0 dB時(shí),設(shè)置不同數(shù)量的不帶標(biāo)簽的樣本進(jìn)行試驗(yàn),未帶標(biāo)簽樣本數(shù)量不同時(shí)的識(shí)別準(zhǔn)確率見表3。可以看出,隨著未帶標(biāo)簽樣本數(shù)的增加,識(shí)別結(jié)果逐漸改善,但當(dāng)每類未帶標(biāo)簽樣本數(shù)量到20時(shí),識(shí)別準(zhǔn)確率逐漸穩(wěn)定,網(wǎng)絡(luò)模型達(dá)到較好的識(shí)別能力。
表3 未帶標(biāo)簽樣本數(shù)量不同時(shí)的識(shí)別準(zhǔn)確率
3.2.2 不同干噪比下識(shí)別效果對(duì)比試驗(yàn)
不同干噪比下識(shí)別準(zhǔn)確率曲線如圖5所示。在每類不帶標(biāo)簽樣本數(shù)為20時(shí),對(duì)3種復(fù)合方式的干擾分別進(jìn)行5-way 1-shot和5-way 5-shot的對(duì)比試驗(yàn),如圖5(a)、圖5(b)所示??梢钥闯觯S著JNR的增加,3種復(fù)合方式的干擾識(shí)別準(zhǔn)確率均呈現(xiàn)增加趨勢(shì),其中在低JNR時(shí)卷積干擾識(shí)別準(zhǔn)確率最低,加性干擾識(shí)別準(zhǔn)確率最高。這是由于,在低JNR下,空間傳輸損耗較高,干擾信號(hào)受傳輸噪聲的影響較為嚴(yán)重,通過(guò)加性、乘性和卷積之后,將這種損耗加大,其中通過(guò)卷積方式所得損耗最大,加性方式所得損耗相對(duì)較小。而在高JNR時(shí),乘性干擾識(shí)別準(zhǔn)確率最低,卷積干擾識(shí)別準(zhǔn)確率最高。圖5(c)中實(shí)線是將3種復(fù)合方式所產(chǎn)生的干擾信號(hào)混合在一起進(jìn)行識(shí)別的結(jié)果,虛線為3種方式平均之后的識(shí)別準(zhǔn)確率??梢钥闯鰧?duì)于混合后的識(shí)別準(zhǔn)確率并不是將3種單一復(fù)合方式的識(shí)別準(zhǔn)確率進(jìn)行平均。在低JNR下,由于噪聲擾動(dòng)較大,對(duì)干擾信號(hào)影響較為嚴(yán)重,網(wǎng)絡(luò)模型區(qū)分不出3種復(fù)合方式的明顯特征,識(shí)別準(zhǔn)確率低于平均水平;在高JNR下,3種復(fù)合方式所產(chǎn)生的干擾區(qū)分較為明顯,網(wǎng)絡(luò)模型能較好地區(qū)分每種干擾類型,且保持在平均水平。
在3種復(fù)合方式中,加性復(fù)合最為常見。為了能夠更加準(zhǔn)確地觀察到每類干擾具體的識(shí)別準(zhǔn)確率,以加性干擾為例,在5-way 5-shot時(shí),給出12種加性復(fù)合干擾的識(shí)別準(zhǔn)確率結(jié)果,不同干噪比下加性復(fù)合干擾識(shí)別性能如圖6所示??梢钥闯?,在12種加性干擾中,AMN+FMN的識(shí)別準(zhǔn)確率較低,但在JNR為6 dB時(shí),網(wǎng)絡(luò)模型對(duì)于所有加性復(fù)合干擾的識(shí)別準(zhǔn)確率均能達(dá)到90%以上。
圖5 不同干噪比下識(shí)別準(zhǔn)確率曲線
實(shí)際情況下,復(fù)合干擾中不同干擾分量的功率大小常不相同。以欺騙干擾與壓制干擾的加性復(fù)合干擾為例,仿真分析了不同干擾分量在不同JNR下對(duì)識(shí)別性能的影響。JNR比值不同時(shí)的識(shí)別性能見表4,設(shè)定欺騙干擾與壓制干擾的JNR比值分別為1:1、1:5和1:10??梢钥闯鲭S著JNR比值的增加,識(shí)別準(zhǔn)確率逐漸降低,這是由于當(dāng)壓制干擾逐漸增強(qiáng)時(shí)會(huì)對(duì)欺騙干擾有所影響,但由于本文利用單一干擾信號(hào)進(jìn)行預(yù)訓(xùn)練,在壓制干擾較強(qiáng)時(shí)網(wǎng)絡(luò)模型也能保持80%以上的識(shí)別準(zhǔn)確率。
圖6 不同干噪比下加性復(fù)合干擾識(shí)別性能
表4 JNR比值不同時(shí)的識(shí)別性能
3.2.3 算法消融對(duì)比
本方法在從基類數(shù)據(jù)集預(yù)訓(xùn)練之后添加了WI,并在微調(diào)過(guò)程中將NNCL和半監(jiān)督學(xué)習(xí)方法MixMatch相結(jié)合,為了驗(yàn)證所提算法的有效性,在預(yù)訓(xùn)練基礎(chǔ)上,將所有干擾種類混合,復(fù)合干擾數(shù)據(jù)集設(shè)置JNR=10 dB,每類不帶標(biāo)簽樣本為20時(shí),分別進(jìn)行對(duì)應(yīng)的消融實(shí)驗(yàn)。消融實(shí)驗(yàn)對(duì)比見表5。
表5 消融實(shí)驗(yàn)對(duì)比
從表6中可以看出,本文所提算法比WI及半監(jiān)督MixMatch方法均有較大提升。直接將MixMatch用于小樣本設(shè)置中并不合適,尤其在1-shot時(shí),這是由于缺乏帶標(biāo)簽樣本,在測(cè)試期間難以微調(diào)分類器。然而,本文所提算法通過(guò)WI模塊可以獲得一個(gè)較好的初始化,從而提升識(shí)別準(zhǔn)確率。而將NNCL與MixMatch相結(jié)合,可以較好地減少基類與新類數(shù)據(jù)的分類器差異,使之最大限度地匹配預(yù)訓(xùn)練的特征,也可以較好地提升模型識(shí)別準(zhǔn)確率。而本文所提方法將WI與半監(jiān)督學(xué)習(xí)相結(jié)合,并且利用NNCL來(lái)改進(jìn)半監(jiān)督學(xué)習(xí),使之更加適合復(fù)合干擾的識(shí)別,識(shí)別準(zhǔn)確率也有一定的提升。
表6 不同算法性能對(duì)比
圖7 訓(xùn)練損失及識(shí)別準(zhǔn)確率
3.2.4 不同算法性能對(duì)比
為了進(jìn)一步驗(yàn)證本文所提算法的優(yōu)越性,另選3種有代表性的相關(guān)算法進(jìn)行對(duì)比,其中文獻(xiàn)[21]介紹了一種遷移學(xué)習(xí)微調(diào)(Fine-tuning)算法,與本文利用半監(jiān)督學(xué)習(xí)方式微調(diào)進(jìn)行對(duì)比;文獻(xiàn)[22]介紹了一種Pseudo-Labeling半監(jiān)督學(xué)習(xí),與本文MixMatch半監(jiān)督學(xué)習(xí)進(jìn)行對(duì)比;文獻(xiàn)[23]介紹了一種Baseline++的小樣本學(xué)習(xí)方法,與本文算法進(jìn)行對(duì)比,看本文算法是否更適合小樣本情形。另外,文獻(xiàn)[21-23]中網(wǎng)絡(luò)模型均為殘差網(wǎng)絡(luò),為公平起見,在實(shí)驗(yàn)時(shí)均使用ResNet34和WRN-28-10網(wǎng)絡(luò)進(jìn)行特征的提取。在JNR=10dB,每類不帶標(biāo)簽樣本為20時(shí),不同算法性能對(duì)比見表6??煽闯觯疚乃崴惴ㄔ?-way 1-shot和5-way 5-shot時(shí)都有較好的識(shí)別效果;另外,本文所使用的特征提取網(wǎng)絡(luò)WRN-28-10相較普通殘差網(wǎng)絡(luò)結(jié)構(gòu)更寬,使識(shí)別效果有一定的提升。在文獻(xiàn)[21]基于遷移學(xué)習(xí)的Fine-tuning中,直接在預(yù)訓(xùn)練模型上進(jìn)行微調(diào),使得網(wǎng)絡(luò)產(chǎn)生負(fù)遷移現(xiàn)象,而且復(fù)合干擾樣本數(shù)較少會(huì)加重這種現(xiàn)象,效果最差,用WRN-28-10網(wǎng)絡(luò)進(jìn)行特征充分提取并運(yùn)用之后,會(huì)輕微改善這種現(xiàn)象。為了探討本文所用半監(jiān)督方式的優(yōu)勢(shì),將半監(jiān)督方式替換為Pseudo-Labeling[22],即利用偽標(biāo)簽技術(shù)得到與標(biāo)簽置信度較高的樣本之后再進(jìn)行訓(xùn)練,可以看出這種算法也會(huì)取得較好的效果。但在未帶標(biāo)簽量只有20時(shí),本文算法明顯優(yōu)于文獻(xiàn)[22]算法,這是因?yàn)閭螛?biāo)簽技術(shù)在不帶標(biāo)簽樣本較少時(shí)篩選出來(lái)的置信度高的樣本也較少,對(duì)模型改進(jìn)不如本文半監(jiān)督方式。為了證明本文算法較適用于小樣本情況,與文獻(xiàn)[23]所提算法Baseline++進(jìn)行對(duì)比,該算法利用預(yù)訓(xùn)練之后的網(wǎng)絡(luò)將支持集與查詢集數(shù)據(jù)進(jìn)行度量學(xué)習(xí),但由于樣本數(shù)的限制,網(wǎng)絡(luò)模型很難找到一個(gè)較好的度量空間,導(dǎo)致識(shí)別準(zhǔn)確率較低。本文算法克服了這種缺點(diǎn),利用少數(shù)帶標(biāo)簽樣本進(jìn)行特征權(quán)重印記,之后再利用帶標(biāo)簽樣本和不帶標(biāo)簽樣本進(jìn)行微調(diào)訓(xùn)練,使網(wǎng)絡(luò)的初始狀態(tài)更符合所識(shí)別的特征,可以進(jìn)一步提高識(shí)別準(zhǔn)確率。
3.2.5 不同算法時(shí)效性對(duì)比
為了驗(yàn)證算法的時(shí)效性,將本文算法與文獻(xiàn)[21-23]方法進(jìn)行時(shí)效性對(duì)比,記錄各個(gè)方法中模型訓(xùn)練、樣本測(cè)試所用的時(shí)間。在試驗(yàn)時(shí)均使用WRN-28-10網(wǎng)絡(luò)作為基網(wǎng)絡(luò)。當(dāng)JNR=10 dB,每類未帶標(biāo)簽樣本為20,采用5-way 5-shot,不同算法時(shí)效性對(duì)比見表7。其中,為了比較不同模型的訓(xùn)練及測(cè)試時(shí)間,將每種模型迭代100次,記錄每次訓(xùn)練平均耗時(shí)時(shí)間,測(cè)試時(shí)間為單次平均識(shí)別時(shí)間。
表7 不同算法時(shí)效性對(duì)比
由表7可看出,本文算法訓(xùn)練時(shí)間比其他3種算法略高,這是由于本文算法引入了半監(jiān)督學(xué)習(xí),會(huì)比對(duì)比算法多進(jìn)行一步微調(diào)操作。另外,本文算法的單次識(shí)別時(shí)間最短,其原因在于測(cè)試階段不需要進(jìn)行半監(jiān)督操作,體現(xiàn)了更優(yōu)的算法時(shí)效性。
針對(duì)在小樣本下雷達(dá)復(fù)合干擾信號(hào)的識(shí)別問(wèn)題,本文提出了基于半監(jiān)督遷移學(xué)習(xí)的算法,通過(guò)將單一欺騙干擾和壓制干擾進(jìn)行加性、乘性、卷積方式復(fù)合,仿真生成36種不同類型的復(fù)合干擾,對(duì)各種干擾進(jìn)行時(shí)頻域的變換來(lái)產(chǎn)生仿真數(shù)據(jù)集。將單一干擾作為基類進(jìn)行預(yù)訓(xùn)練,得到預(yù)訓(xùn)練網(wǎng)絡(luò)模型,利用少量帶標(biāo)簽的復(fù)合干擾樣本進(jìn)行權(quán)值印記,使網(wǎng)絡(luò)有一個(gè)較好的初始化模型,利用半監(jiān)督方式將帶標(biāo)簽和不帶標(biāo)簽的數(shù)據(jù)進(jìn)行再次微調(diào),并且引入NNCL損失函數(shù),將不帶標(biāo)簽數(shù)據(jù)與已訓(xùn)練的網(wǎng)絡(luò)模型進(jìn)行最大化匹配,使之更準(zhǔn)確地識(shí)別出測(cè)試樣本。通過(guò)仿真驗(yàn)證了本文所提算法的可行性以及相較其他算法在同樣較少樣本下的性能優(yōu)勢(shì),且模型泛化性較高。
[1] ADAMY D. EW101: 電子戰(zhàn)基礎(chǔ)[M]. 王燕, 朱松, 譯. 北京:電子工業(yè)出版社, 2009.
ADAMY D. EW101: fundamentals of electronic warfare[M]. Translated by WANG Y, ZHU S. Beijing: Publishing House of Electronics Industry, 2009.
[2] 周紅平, 王子偉, 郭忠義. 雷達(dá)有源干擾識(shí)別算法綜述[J]. 數(shù)據(jù)采集與處理, 2022, 37(1): 1-20.
ZHOU H P, WANG Z W, GUO Z Y. Overview on recognition algorithms of radar active jamming[J]. Journal of Data Acquisition and Processing, 2022, 37(1): 1-20.
[3] FU R R. Compound jamming signal recognition based on neural networks[C]//Proceedings of the Sixth International Conference on Instrumentation & Measurement, Computer, Communication and Control (IMCCC). Piscataway: IEEE Press, 2016: 737-740.
[4] ZHU M, LI Y, PAN Z, et al. Automatic modulation recognition of compound signals using a deep multi-label classifier: a case study with radar jamming signals[J]. Signal Processing, 2019, 169(9): 107393.
[5] ZHANG J X, LIANG Z N, ZHOU C, et al. Radar compound jamming cognition based on a deep object detection network[J]. IEEE Transactions on Aerospace and Electronic Systems, 2023, 59(3): 3251-3263.
[6] 李浩. 基于多標(biāo)簽學(xué)習(xí)的雷達(dá)復(fù)合干擾識(shí)別研究[D]. 成都: 電子科技大學(xué), 2021.
LI H. Radar compound jamming recognition based on multi-label learning[D]. Chengdu: University of Electronic Science and Technology, 2021.
[7] QU Q, WEI S, LIU S, et al. JRNet: jamming recognition networks for radar compound suppression jamming signals[J]. IEEE Transactions on Vehicular Technology, 2020, 69(12): 15035-15045.
[8] 龐伊瓊, 許華, 張悅, 等. 基于遷移元學(xué)習(xí)的調(diào)制識(shí)別算法[J].兵工學(xué)報(bào), 2022. doi: 10.12382/bgxb.2022.0583.
PANG Y Q, XU H, ZHANG Y, et al. Modulation recognition algorithm based on transfer meta-learning[J]. Acta Armamentarii, 2022. doi: 10.12382/bgxb.2022.0583.
[9] 季鼎承, 蔣亦樟, 王士同. 基于域與樣例平衡的多源遷移學(xué)習(xí)方法[J]. 電子學(xué)報(bào), 2019, 47(3): 692-699.
JI D C, JIANG Y Z, WANG S T. Multi-source transfer learning method by balancing both the do?mains and instances[J]. Acta Electronica Sinica, 2019, 47(3): 692-699.
[10] SHAO G, CHENY, WEI Y. Convolutional neural network-based radar jamming signal classification with sufficient and limited samples[J]. IEEE Access, 2020(8): 80588-80598.
[11] LYU Q Z, QUAN Y H, FENG W, et al. Radar Deception jamming recognition based on weighted ensemble CNN with transfer learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022(60): 1-11.
[12] CHUNG H, LEE J. Iterative semi-supervised learning using softmax probability[J]. Materials & Continua, 2022, 72(3): 5607-5628.
[13] BAE J, LEE M, KIM S B. Safe semi-supervised learning using a bayesian neural network[J]. Information Sciences, 2022, 6(12): 453-464.
[14] PASSALIS N, IOSIFIDIS A, GABBOUJ M, et al. Hypersphere-based weight imprinting for few-shot learning on embedded devices[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(2): 925 -930.
[15] ZHUANG F, QI Z, DUAN K, et al. A comprehensive survey on transfer learning[J]. Proceedings of the IEEE, 2020, 109(1): 43-76.
[16] BERTHELOT D, CARLINI N, GOODFELLOW I, et al. MixMatch: a holistic approach to semi-supervised learning[J]. Advances in Neural Information Processing Systems, 2019, 32(454): 5050-5060.
[17] LI P, ZHAO G, XU X. Coarse-to-fine few-shot classification with deep metric learning[J]. Information Sciences, 2022(610): 592-604.
[18] QIAO S Y, LIU C X, SHEN W, et al. Few-shot image recognition by predicting parameters from activations[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). Piscataway: IEEE Press, 2018: 7229-7238.
[19] HE K, ZHANG X, REN S, et al, Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Piscataway: IEEE Press 2016: 770-778.
[20] HAFIZ A M, BHAT R A, HASSABALLAH M. Image classification using convolutional neural network tree ensembles[J], Multimedia Tools and Applications, 2023, 82(5): 6867-6884.
[21] LI T W, LEE G C. Performance analysis of fine-tune transferred deep learning[C]//Proceedings of the 2021 3rd Eurasia Conference on Communication and Engineering. Piscataway: IEEE Press, 2021: 315 -319.
[22] HIGUCHI Y, MORITZ N, ROUX J L, et al. Momentum pseudo-labeling: semi-supervised ASR with continuously improving pseudo-labels[J]. IEEE Journal of Selected Topics in Signal Processing, 2022, 16(6): 1424 -1438.
[23] CHEN W Y, LIU Y C, KIRA Z, et al. A closer look at few-shot classification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2019: 1904. 04232.
A semi-supervised transfer learning recognition method for radar compound jamming under small samples
WANG Jinqiang1, SUN Minhong1, TANG Xianghong1, QIU Zhaoyang1, ZENG Deguo2
1.School of Communication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China 2. China Aerospace Science and Technology Group 8511 Research Institute, Nanjing 210007, China
Aiming at the problem that more and more kinds of radar compound jamming signals and too few training samples were difficult to make the deep learning model reach the optimal state, a semi-supervised transfer learning recognition method for radar compound jamming under small samples was proposed, which solved the problem of low network training accuracy caused by the difficulty in obtaining labeled samples through unlabeled samples. The feature extractor and classifier obtained after pre-training of single jamming data set were transferred to small-scale compound jamming data set, and the model was fine-tuning by using weight imprinting and semi-supervised learning. The model parameters were optimized by the proposed nearest neighbor correlation loss nearest neighbor correlation loss (NNCL). The experimental results show that the recognition accuracy of the model can reach 93.20% when the jamming-to-noise ratio is 10 dB and there are only 5 labeled samples of the new class of compound jamming signals.
radar anti-jamming, compound jamming recognition, transfer learning, weight imprinting, semi-supervised learning
The National Natural Science Foundation of China (No.61901149), The National Defense Characteristic Discipline Development Project (No.JCKY2019415D002)
TN975
A
10.11959/j.issn.1000?0801.2023182
2023?06?07;
2023?09?06
國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61901149);國(guó)防特色學(xué)科發(fā)展項(xiàng)目(No.JCKY2019415D002)
王金強(qiáng)(1998? ),男,杭州電子科技大學(xué)碩士生,主要研究方向?yàn)槔走_(dá)信號(hào)處理及抗干擾。
孫閩紅(1974? ),男,博士,杭州電子科技大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)樾盘?hào)處理、信息對(duì)抗、雷達(dá)系統(tǒng)與成像技術(shù)。
唐向宏(1962? ),男,博士,杭州電子科技大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)閳D像處理與傳輸、通信與信息系統(tǒng)、信息安全。
仇兆煬(1987? ),男,博士,杭州電子科技大學(xué)講師、碩士生導(dǎo)師,主要研究方向?yàn)樾盘?hào)采樣、復(fù)雜信號(hào)處理和寬帶接收。
曾德國(guó)(1985? ),男,博士,中國(guó)航天科工集團(tuán)八五一一研究所研究員,主要研究方向?yàn)樾盘?hào)識(shí)別與新型接收機(jī)結(jié)構(gòu)。