基于注意力機制和改進CLDNN的雷達輻射源識別

崔邦彥, 田潤瀾,*, 王東風(fēng), 崔 鋼, 石靜苑

(1. 空軍航空大學(xué)航空作戰(zhàn)勤務(wù)學(xué)院, 吉林 長春 130022; 2. 空軍研究院, 北京 100012;3. 空軍航空大學(xué)航空基礎(chǔ)學(xué)院, 吉林 長春 130022)

0 引 言

早期雷達體制單一,輻射源信號脈內(nèi)調(diào)制類型相對簡單,戰(zhàn)場電磁環(huán)境并不復(fù)雜。輻射源識別[1]是電子對抗偵察的一項重要內(nèi)容[2]。傳統(tǒng)的雷達輻射源識別方法將雷達輻射源信號從時域、頻域和時頻域等多角度與雷達數(shù)據(jù)庫對比及匹配。文獻[3]中提出應(yīng)用修正的D-S證據(jù)融合策略對融合算法進行改進;文獻[4]提出應(yīng)用模糊推理實現(xiàn)對輻射源的識別。這些方法識別速度和識別準(zhǔn)確率較高,但是隨著新體制雷達的出現(xiàn),這些方法難以應(yīng)對復(fù)雜電磁環(huán)境[5]下快速準(zhǔn)確地識別雷達輻射源信號。因此,需要找到一種新方法,既能保證更快的識別速度,又能在低信噪比環(huán)境下有較高的識別準(zhǔn)確率。

深度學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個重要的研究方向,它學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次,能較全面地提取樣本數(shù)據(jù)特征,有效地避免人為提取特征的不完備性。訓(xùn)練后的深度學(xué)習(xí)模型有較快的識別速度和識別準(zhǔn)確率。近些年,深度學(xué)習(xí)應(yīng)用于雷達輻射源識別成為熱點。如文獻[6]采用一維卷積長短時深度神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional long-short-term-memory deep neural networks,1CLDNN)模型結(jié)合center loss損失函數(shù)對輻射源信號分類,信號識別準(zhǔn)確率較卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)模型有一定提升,但是在低信噪比環(huán)境下識別準(zhǔn)確率受限;文獻[7]使用深度卷積生成對抗網(wǎng)絡(luò)(deep convolutional generative adversarial network,DCGAN)生成時頻圖像,使用VGG16模型對時頻圖像訓(xùn)練,各類信號在-15 dB信噪比環(huán)境下保持75%的準(zhǔn)確率,但耗時較長。本課題組成員孫藝聰在文獻[2]中提出改進1CLDNN[8]模型，將1CLDNN網(wǎng)絡(luò)中的長短時記憶(long short-term memory, LSTM)層換成雙向門控循環(huán)裝置(bi-directional gated recurrent unit, Bi-GRU)，利用Bi-GRU[9]的雙向結(jié)構(gòu)獲取更多的結(jié)構(gòu)信息,該網(wǎng)絡(luò)在識別準(zhǔn)確率和識別速度上都有提高,但是改進的1CLDNN在處理低截獲概率雷達信號時受限。

針對上述問題,為提高信號識別速度和低信噪比環(huán)境下識別的準(zhǔn)確率,本文在1CLDNN模型基礎(chǔ)上引入特征融合方法和注意力機制,提出注意力機制特征融合1CLDNN網(wǎng)絡(luò)(attention-mechanism feature-fusion 1CLDNN, AF1CLDNN)。

1 1CLDNN模型

1CLDNN模型主要是由一維CNN(one-dimensional CNN,1CNN)、LSTM網(wǎng)絡(luò)[10]、深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)組成，如圖1所示。該網(wǎng)絡(luò)結(jié)構(gòu)最早于2015年由Sainath等人提出,現(xiàn)在廣泛應(yīng)用于語音識別領(lǐng)域[11-13]。

圖1 1CLDNN結(jié)構(gòu)

1CLDNN中的子網(wǎng)絡(luò)建模能力各有不同,1CNN擅長減小頻域變化,LSTM提供長時記憶,DNN擅長將特征映射到獨立的歐幾里得空間,將這3種網(wǎng)絡(luò)序貫連接,在信號識別領(lǐng)域獲得比單獨任意一個網(wǎng)絡(luò)更優(yōu)的性能。

2 特征融合方法和注意力機制

2.1 特征融合方法

本文引入集成學(xué)習(xí)中的特征融合[14-15]方法,對多種特征在分類器層次上進行融合,使數(shù)據(jù)中深層特征和淺層特征融合,深層和淺層的特征能夠優(yōu)勢互補,從而增強特征的描述能力,有效提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率。

基于卷積神經(jīng)網(wǎng)絡(luò)的輻射源分類識別算法通常采用特征融合方法提高輻射源的識別精度。假設(shè)Yi(i=1,2,…,N)、Yj(j=1,2,…,N)為原始特征和融合特征,N為特征數(shù)，特征融合算法可以概括為

Yj=φj[φi(Yi)],i=1,2,…,N;j=1,2,…,N

(1)

式中,φi代表轉(zhuǎn)換函數(shù);φj代表特征融合函數(shù);特征融合后的結(jié)果Yj融合了上層分類器的深層特征和淺層特征,使提取的特征更全面,從而提高輻射源信號分類識別速度和識別準(zhǔn)確率。

2.2 注意力機制

近年來,研究人員將人類視覺的選擇性注意力機制[16-19]引入到深度學(xué)習(xí)中,人類視覺的注意力機制是人類的視覺系統(tǒng)快速地掃描視覺范圍內(nèi)的全局場景,經(jīng)過大腦信號處理機制,選擇需要重點關(guān)注的目標(biāo)區(qū)域,并對這個區(qū)域投入更多的注意力資源,以獲取更多的細節(jié)信息,提升網(wǎng)絡(luò)識別速度和識別準(zhǔn)確率。

注意力機制的本質(zhì)思想是查詢到一系列鍵-值對的映射，得到一系列鍵-值對之間的相似度,兩者之間相似度越高會分配更多的注意力資源,相似度越少則會分配更少的注意力資源甚至不分配注意力資源。注意力機制本質(zhì)如圖2所示。

圖2 注意力機制

輻射源脈沖內(nèi)部特征提取是輻射源信號識別[20-23]的關(guān)鍵問題。注意力機制中的詢問(Q)代表輻射源信號,注意力機制中的鍵-值對(Ki-Vi)代表輻射源信號中各元素的權(quán)值。將注意力機制引入識別輻射源的神經(jīng)網(wǎng)絡(luò)中可以加快神經(jīng)網(wǎng)絡(luò)的識別速度,并在一定程度上提高神經(jīng)網(wǎng)絡(luò)對輻射源信號識別的準(zhǔn)確率。

在計算注意力時主要分為3個步驟。

步驟 1計算輻射源信號和輻射源信號中各元素權(quán)值的相似度得到權(quán)重。常用的相似度函數(shù)有點積、拼接、感知機等。本文采用拼接的方法實現(xiàn)相似度:

f(Q,Ki)=Wα[Q;Ki]

(2)

步驟 2使用Softmax函數(shù)對上一步得到的權(quán)重歸一化:

(3)

步驟 3最后將權(quán)重和加權(quán)后的輻射源信號中各元素的權(quán)值進行加權(quán)求和得到注意力:

(4)

3 AF1CLDNNF模型

3.1 AF1CLDNN結(jié)構(gòu)

AF1CLDNN模型是1CLDNN模型的改進型,AF1CLDNN模型結(jié)構(gòu)如圖3所示。該模型的網(wǎng)絡(luò)結(jié)構(gòu)包括一維卷積池化層、LSTM層、注意力層、DNN層和特征融合層。圖3中紅色虛線框中的是1CLDNN模型,1CLDNN模型在處理序列數(shù)據(jù)問題上具有一定的優(yōu)勢:其一,可以提取時間序列的淺層特征；其二,能提供長時記憶。1CLDNN模型也具有一定的局限性:① 模型并不能提取序列數(shù)據(jù)的深層特征;② LSTM模型訓(xùn)練速度慢,當(dāng)數(shù)據(jù)量在一定數(shù)量級時,網(wǎng)絡(luò)弊端就很明顯;③ 1CLDNN模型對輻射源信號識別的準(zhǔn)確率還需要提升。

圖3 AF1CLDNN模型結(jié)構(gòu)

針對上述問題本文在1CLDNN模型的基礎(chǔ)上加入另一個支路DNN[24-27],如圖3中藍色虛線框部分所示,DNN能夠?qū)⑻卣鬓D(zhuǎn)換到獨立的歐幾里得特征空間,可以獲得數(shù)據(jù)深層特征信息。1CLDNN提取的淺層特征和DNN提取的深層特征通過圖3中綠色虛線框內(nèi)的特征融合層將數(shù)據(jù)深層特征和淺層特征進行融合,使網(wǎng)絡(luò)在分類輸出時可根據(jù)更多的特征進行選擇,提高網(wǎng)絡(luò)對輻射源識別準(zhǔn)確率。1CLDNN中CNN層后加入圖3中紫色虛線框內(nèi)的注意力層,注意力層將更多的注意力資源分配給需要關(guān)注的特征,使得注意力層后的DNN網(wǎng)絡(luò)對特征提取的效率更高，提高網(wǎng)絡(luò)對輻射源信號的識別速度和識別準(zhǔn)確率。

3.2 AF1CLDNN模型參數(shù)設(shè)置

AF1CLDNN模型的11層網(wǎng)絡(luò)中包含3個一維卷積池化層、2個LSTM層以及5個全連接層。所有的一維卷積層具有相同的配置,步長為5,維度由128、64到16;共有3個最大池化層,大小依次為4、4和3,步長為1;共有5個全連接層，輸出結(jié)果的維度由16、64、32、8到7;共有2個LSTM層，輸出維度分別為32和16。整體參數(shù)結(jié)構(gòu)如圖4所示。

3.3 訓(xùn)練流程

鑒于AF1CLDNN模型處理具有時間相關(guān)性的序列數(shù)據(jù)效果好,本文采用時域下雷達脈沖的幅度序列數(shù)據(jù)作為模型輸入數(shù)據(jù)。

步驟 1輻射源信號輸入。將輻射源數(shù)據(jù)和標(biāo)簽輸入到AF1CLDNN模型中。

步驟 2數(shù)據(jù)預(yù)處理。將輻射源數(shù)據(jù)都截成長度為1 024×1。

步驟 3標(biāo)簽處理。對不同類別的標(biāo)簽進行one-hot編碼。

步驟 4建立數(shù)據(jù)集。將數(shù)據(jù)按照不同的類別以相同的比例0.28∶0.42∶0.3分為訓(xùn)練集、驗證集和測試集,并將其隨機打亂。

步驟 5設(shè)置EarlyStopping。在訓(xùn)練達到飽和的時候可以終止訓(xùn)練。

步驟 6設(shè)置datetime。獲取當(dāng)前時間,方便測量網(wǎng)絡(luò)訓(xùn)練用時。

步驟 7編譯學(xué)習(xí)過程。損失函數(shù)采用categorical_crossentropy;優(yōu)化器采用Adam;學(xué)習(xí)率初始設(shè)置為1×10-4,學(xué)習(xí)率隨著訓(xùn)練集誤差的變化情況動態(tài)調(diào)整。

步驟 8模型訓(xùn)練。設(shè)置batch_size大小為256;訓(xùn)練輪數(shù)設(shè)置為100輪,對模型訓(xùn)練。

4 實驗及結(jié)果分析

本文采用Matlab仿真時域下雷達脈沖的幅度序列數(shù)據(jù)來驗證本模型性能,用Matlab仿真的數(shù)據(jù)集包含7種信號,分別是BPSK、Costas、Frank、P1、P2、P3和P4。7種信號的信噪比范圍為-20～10 dB,間隔2 dB。每種信號在每個信噪比的條件下生成2 000個樣本,每個樣本長度為1 024,所以樣本總計224 000個,雷達輻射源信號的調(diào)制參數(shù)如表1所示。計算機配置:CPU為Intel(R)Core(TM) i7-10 750H,GPU為NVIDIA GeForce RTX 2 070 Super。

圖4 AF1CLDNN整體參數(shù)結(jié)構(gòu)圖

表1 信號主要參數(shù)

實驗 1為了探究特征融合對網(wǎng)絡(luò)分類能力的影響,實驗將是否對網(wǎng)絡(luò)進行特征融合作為自變量,分別訓(xùn)練1CLDNN和特征融合1CLDNN(feature-fusion 1CLDNN, F1CLDNN),用沒有進行特征融合的支路模型的訓(xùn)練結(jié)果與特征融合后的模型訓(xùn)練結(jié)果比較,以測試集的損失和準(zhǔn)確率、訓(xùn)練集的訓(xùn)練輪數(shù)和訓(xùn)練時間作為評價標(biāo)準(zhǔn)進行實驗。實驗結(jié)果如表2所示。

表2 特征融合對網(wǎng)絡(luò)分類能力的影響實驗結(jié)果

從表2中可看出1CLDNN在沒有進行特征融合前,無論是在損失、準(zhǔn)確率、訓(xùn)練輪數(shù)，還是訓(xùn)練時間都比特征融合后的F1CLDNN效果差;F1CLDNN將1CLDNN提取的淺層特征和DNN提取的深層特征進行融合,訓(xùn)練準(zhǔn)確率高,訓(xùn)練輪數(shù)少,訓(xùn)練時間少,說明在特征融合層的作用下模型將數(shù)據(jù)深層特征和淺層特征進行融合,使網(wǎng)絡(luò)在分類輸出時可以根據(jù)更多的特征進行選擇,提高網(wǎng)絡(luò)識別準(zhǔn)確率,在訓(xùn)練過程中收斂速度更快,擬合效果更好。

實驗 2為了探究注意力機制對網(wǎng)絡(luò)分類能力的影響,實驗中將注意力機制的有無作為自變量,以測試集的準(zhǔn)確率和損失、訓(xùn)練集訓(xùn)練輪數(shù)和訓(xùn)練時間作為評價標(biāo)準(zhǔn)進行實驗。實驗結(jié)果如表3所示。

表3 注意力機制對網(wǎng)絡(luò)分類能力的影響實驗結(jié)果

在表3中1CLDNN模型和F1CLDN模型在沒有注意力時比有注意力時訓(xùn)練時間長、訓(xùn)練輪數(shù)多、準(zhǔn)確率低、損失高,可以看出注意力可在一定程度上提升測試準(zhǔn)確率和識別速度并降低損失,但是注意力在F1CLDNN中提升準(zhǔn)確率的效果并不是很明顯,只能在很小的范圍提升準(zhǔn)確率,但是在1CLDNN中應(yīng)用注意力機制測試后準(zhǔn)確率顯著提升。注意力機制在提升訓(xùn)練速度方面有非常大的優(yōu)勢,F1CLDNN在同樣的條件下使用注意力機制比不使用注意力機制快了0:12:41,而1CLDNN在同樣的條件下使用注意力機制比不使用注意力機制快了4:35:24。注意力層將更多的注意力資源分配給需要關(guān)注的特征到DNN中,提高網(wǎng)絡(luò)對輻射源信號的識別速度和識別準(zhǔn)確率,因此注意力機制可以在一定程度上提升網(wǎng)絡(luò)識別準(zhǔn)確率,加快網(wǎng)絡(luò)識別速度。

為了觀察注意力都提取信號的哪些特征使得識別速度和識別準(zhǔn)確率提高,實驗將注意力層的輸出與原信號對比并將結(jié)果繪制成熱力圖。實驗步驟如下:

步驟 1實驗從7類信號中的每一類中選取一個代表這一類信號;

步驟 2將步驟1中提取出的7個樣本長度為1 024的信號從前到后截取樣本長度為100作為可視化信號;

步驟 3將步驟2中截取的信號可視化,并將該信號經(jīng)過注意力層的權(quán)值通過熱力圖繪制,原信號的可視化圖和信號經(jīng)過注意力層的權(quán)值熱力圖繪制到一張圖,如圖5所示。

圖5的標(biāo)題位置是信號類別。左側(cè)縱坐標(biāo)代表樣本長度為100的信號,信號的輸入從上到下。右側(cè)縱坐標(biāo)代表分配給每個顏色的權(quán)值,顏色越深分配的權(quán)值越大。橫坐標(biāo)代表選擇每一類信號中的第幾個信號。黑色代表原始信號,彩色代表分配給該位置信號的權(quán)值。

由圖5可以更清楚地對比出注意力層更注重各信號的特征在信號樣本中的位置。圖5中這7類信號經(jīng)過注意力層后都注重了8,40,56,88這幾個位置,這幾個位置比較隨機且分散,并不能通過時頻分析[28-30]后的結(jié)果解釋,但是可以看到這幾個位置都在波峰處,可以認為這幾個位置是在其他的歐幾里得空間提取出來的特征,而可以分配更多注意力資源在這幾個位置對信號分類識別,分配更少注意力資源甚至忽略在一些無關(guān)位置的注意力資源,可以有效地提高網(wǎng)絡(luò)識別速度。

圖5 7類信號注意力層權(quán)值熱力圖

實驗 3在實驗1和實驗2的基礎(chǔ)上為了探究將注意力機制和特征融合方法結(jié)合是否能進一步提升網(wǎng)絡(luò)對輻射源信號識別速度和識別準(zhǔn)確率,以及在低信噪比下對各信號的識別情況。本文在實驗3中設(shè)置3個小實驗,第1個小實驗用AF1CLDNN、F1CLDNN、注意力機制特征融合1CLDNN(attention mechanism 1CLDNN,A1CLDN-N)、1CLDNN和深度學(xué)習(xí)中的經(jīng)典模型以測試集的準(zhǔn)確率和損失、訓(xùn)練時間和訓(xùn)練輪數(shù)作為評價標(biāo)準(zhǔn)比較,實驗結(jié)果如表4所示。

表4 多種模型結(jié)構(gòu)實驗結(jié)果

由表4可知在1CLDNN的基礎(chǔ)上既引入注意力機制又引入特征融合方法比只用其中一種的識別速度快,識別準(zhǔn)確率更高。

AF1CLDNN模型和一些經(jīng)典深度學(xué)習(xí)模型比較,無論是在識別速度還是在識別準(zhǔn)確率上都有一定的提升。

第2個小實驗是AF1CLDNN模型在低信噪比環(huán)境下是否有較好的識別準(zhǔn)確率,實驗用AF1CLDNN、F1CLDNN、A1CLDNN、1CLDNN和深度學(xué)習(xí)中的經(jīng)典模型對比。用不同信噪比的Costas信號測試,測試結(jié)果如圖6所示。

圖6 8種模型的不同信噪比識別準(zhǔn)確率圖

由圖6可知AF1CLDNN模型比其他經(jīng)典深度學(xué)習(xí)模型在低信噪比的環(huán)境下識別準(zhǔn)確率要高,AF1CLDNN模型在-20 dB的情況依然有69%的準(zhǔn)確率,在-12 dB依然有接近100%的準(zhǔn)確率,而其他經(jīng)典深度學(xué)習(xí)模型在-20 dB時最高有60%左右的準(zhǔn)確率。因此,AF1CLDNN在低信噪比的情況下依然有較高的識別準(zhǔn)確率。

第3個小實驗探究AF1CLDNN模型在不同信噪比下對信號分類的能力,利用訓(xùn)練保存的模型對這7類信號分類(這7類信號使用測試集數(shù)據(jù)),這7類信號在不同信噪比環(huán)境下識別結(jié)果如圖7所示。

由圖7可知信號在信噪比大于等于-10 dB時基本有100%的準(zhǔn)確率,在-12 dB時除了BPSK信號其他信號均有接近100%的準(zhǔn)確率,而BPSK信號依然有97%以上的準(zhǔn)確率,即使在-20 dB時除了BPSK信號有58%的準(zhǔn)確率,其他信號均有高于69%的準(zhǔn)確率。

圖7 不同信噪比下AF1CLDNN對7類信號的識別準(zhǔn)確率

BPSK信號受信噪比影響最大,在低信噪比的環(huán)境下難以和其他6類信號區(qū)分,其他6類信號識別結(jié)果的準(zhǔn)確率相對均衡,可以認為AF1CLDNN模型對這7類信號識別的結(jié)果是有效的。

7類信號的混淆矩陣如圖8所示。圖8中顏色越深代表輻射源信號正確識別率越高,可以很清晰地看到對角線上的顏色深。圖8中BPSK信號被誤認為Costas、Frank、P1、P2、P3和P4的錯誤率基本為1%,因此結(jié)合圖7可知,BPSK在低信噪比的條件下和其他6類信號接近,該信號較難區(qū)分。

圖8 7類信號混淆矩陣圖

5 結(jié) 論

本文在1CLDNN模型的基礎(chǔ)上,提出了AF1CLDNN模型,并對7種常見的輻射源信號進行識別。實驗結(jié)果表明,本文提出的AF1CLDNN具有較高的識別速度和識別準(zhǔn)確率,并且在復(fù)雜電磁環(huán)境[31-34]中信噪比較低的情況下能夠有效地識別這7種信號,與其他常見處理一維數(shù)據(jù)模型對比,本文提出的模型具有訓(xùn)練時間復(fù)雜度低、收斂速度快和識別精度高的特點。