基于注意力機制的堆疊LSTM網(wǎng)絡(luò)雷達HRRP序列目標識別方法

張一凡, 張雙輝, 劉永祥, 荊 鋒

(1. 國防科技大學(xué)信息通信學(xué)院, 陜西 西安 710106;2. 國防科技大學(xué)電子科學(xué)學(xué)院, 湖南 長沙 410073)

0 引 言

雷達具有全天時、全天候工作和遠距離探測的能力,在導(dǎo)彈防御、空間目標監(jiān)視中發(fā)揮著至關(guān)重要的作用[1],因此雷達自動目標識別(radar automatic target recognition, RATR)技術(shù)一直是國內(nèi)外相關(guān)領(lǐng)域的研究熱點。用于目標識別的雷達數(shù)據(jù)有3種,即合成孔徑雷達(synthetic aperture radar,SAR)圖像、逆SAR(inverse SAR,ISAR)圖像和高分辨距離像[2](high resolution range profile, HRRP)。由于SAR/ISAR圖像的獲取難度較大,實際中難以獲取質(zhì)量較高的二維圖像,同時具有數(shù)據(jù)量大、運算量大等缺點,而HRRP具有成像簡單、易于獲取、數(shù)據(jù)量小、運算復(fù)雜度低等優(yōu)勢[3],因此HRRP自動目標識別技術(shù)成為了一種很有應(yīng)用前景的識別方法。在目標識別場景中,目標的運動軌跡和狀態(tài)具有連續(xù)性,接收機所接收到的HRRP序列相鄰回波之間存在空間和時間上較強的相關(guān)性[4-5],然而傳統(tǒng)的HRRP識別方法只用到了單個HRRP樣本,忽略了相鄰樣本之間的時空相關(guān)性,造成信息損失,因此本文將主要研究基于HRRP序列的雷達目標識別方法。

根據(jù)分類器原理的不同,HRRP序列識別方法可以大致分為3類。第1類是基于統(tǒng)計學(xué)習(xí)算法的識別方法,Du等人[6]利用基于統(tǒng)計特征的識別方法提出了新的目標HRRP的特征提取方法;文獻[7]提出將支撐矢量機(support vector machine, SVM)作為HRRP序列識別模型,提高了識別性能,但是此類算法存在識別精度低、收斂速度慢等不足。第2類是隱馬爾可夫模型(hidden Markov model, HMM),文獻[8]利用長寬相關(guān)HRRP序列進行建模,其中跨距離單元的空間結(jié)構(gòu)用HMM結(jié)構(gòu)描述,HRRP樣本之間的時間相關(guān)性用轉(zhuǎn)移的時間演化描述概率,在一定程度上提高了識別精度。第3類方法是基于神經(jīng)網(wǎng)絡(luò)算法的識別方法,反向傳播(back propagation,BP)網(wǎng)絡(luò)[9]、受限玻爾茲曼機網(wǎng)絡(luò)[10]、自組織神經(jīng)網(wǎng)絡(luò)[11]等淺層神經(jīng)網(wǎng)絡(luò)在HRRP識別任務(wù)中主要被當(dāng)作分類器使用;包含多個隱藏層的深層神經(jīng)網(wǎng)絡(luò)能夠完成特征提取和分類任務(wù),包括深度置信網(wǎng)絡(luò)[12](deep belief network,DBN)、卷積神經(jīng)網(wǎng)絡(luò)[13-14](convolutional neural networks, CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)[15-16](recurrent neural networks, RNN),相比于人工特征提取方式,深層網(wǎng)絡(luò)可以提取到樣本中更多深層且可分性強的特征,從而獲得更優(yōu)的識別性能,文獻[16]使用RNN完成了對3類目標的HRRP樣本識別,在100個樣本的測試集上識別性能良好。然而,經(jīng)典的RNN在訓(xùn)練過程中容易出現(xiàn)梯度消失和梯度爆炸問題,進而影響模型的訓(xùn)練和識別效果。文獻[17]使用長短時記憶(long short-term mememory, LSTM)網(wǎng)絡(luò)處理時序數(shù)據(jù),LSTM網(wǎng)絡(luò)能夠有效利用序列數(shù)據(jù)中的長距離依賴信息,模型解決了梯度消失和梯度爆炸問題,該方法在HRRP識別任務(wù)上取得了較為理想的識別效果。

為進一步降低模型運算復(fù)雜度,將分類模型關(guān)注的重點集中在對識別影響較大的特征信息上,文獻[18]將注意力機制與RNN模型相結(jié)合,在雷達信號干擾抑制領(lǐng)域進行了探索,該方法有效提升了RNN的模型性能,但是模型在針對序列角誤差魯棒性方面還有待提高。文獻[19]在LSTM模型中引入了注意力機制,并用于飛機目標的HRRP識別,取得較為理想的識別效果。然而,隨著HRRP序列長度以及樣本容量的增加,傳統(tǒng)的單層LSTM網(wǎng)絡(luò)已經(jīng)無法滿足現(xiàn)實任務(wù)需求。文獻[20]使用3層堆疊LSTM(stacked LSTM, SLSTM)達到了更好的識別性能,然而該方法在LSTM層數(shù)超過3層時,會再次出現(xiàn)梯度消失現(xiàn)象,從而導(dǎo)致淺層LSTM的權(quán)重?zé)o法在參數(shù)迭代中得到更新,因此本文擬將LSTM中傳統(tǒng)的激活函數(shù)替換為導(dǎo)數(shù)性能更優(yōu)的Elu函數(shù),以期緩解SLSTM網(wǎng)絡(luò)中出現(xiàn)的梯度消失問題。

針對目前上述HRRP序列目標識別所面臨的困難,本文提出一種基于注意力機制的SLSTM(attention-based SLSTM, Attention-SLSTM)網(wǎng)絡(luò)模型,模型的創(chuàng)新點主要包括以下幾點:

(1) 為了能提升單層LSTM模型的特征提取能力,將SLSTM模型引入到HRRP序列識別任務(wù);

(2) 為區(qū)別關(guān)注多維特征點的HRRP序列數(shù)據(jù)中的重要信息,將注意力機制與SLSTM模型相結(jié)合,提出Attention-SLSTM模型;

(3) 為緩解Attention-SLSTM模型存在的梯度消失問題,采用求導(dǎo)性能更好的Elu函數(shù)替代Attention-SLSTM模型中原始的激活函數(shù)。

1 Attention-SLSTM模型

1.1 Attention-SLSTM模型結(jié)構(gòu)

本文提出的基于LSTM的雷達HRRP序列目標識別方法Attention-SLSTM模型結(jié)構(gòu)，其框架如圖1所示,模型分為輸入層、特征提取層、注意力層和輸出層。

圖1 Attention-SLSTM模型結(jié)構(gòu)示意圖Fig.1 Structure diagram of Attention-SLSTM model

(1) 輸入層

采用公開的MSTAR(moving and stationary target acquisition and recognition)數(shù)據(jù)集作為試驗數(shù)據(jù)進行相關(guān)驗證實驗,該數(shù)據(jù)集由10種不同類型的SAR圖像樣本構(gòu)成,本文數(shù)據(jù)預(yù)處理階段根據(jù)文獻[21]的方式將二維SAR圖像轉(zhuǎn)換為不同長度的HRRP序列。

(2) 特征提取層

模型采用SLSTM作為特征提取器,通過多層LSTM結(jié)構(gòu)逐層提取HRRP序列的深層可分性特征,較低層提取到基本概念特征,而較高層則關(guān)注更加抽象的深層特征。每層輸出一個特征向量序列作為后續(xù)層的輸入,實現(xiàn)HRRP序列更有效的特征表示,增強模型的表達能力。在此過程中,為了緩解文獻[20]中出現(xiàn)的梯度消失問題,采用求導(dǎo)性能更優(yōu)的Elu函數(shù)代替LSTM中的原始激活函數(shù),進而促進模型更新迭代,提取更有效的深層抽象特征。

(3) 注意力機制層

模型在SLSTM的每一層輸出特征向量后添加注意力機制層[22-24],以前一層LSTM的隱藏狀態(tài)和單元狀態(tài)作為輸入,為隱藏層特征向量的各個區(qū)域計算權(quán)重,得到的加權(quán)LSTM隱藏狀態(tài)能夠?qū)W習(xí)更復(fù)雜的抽象特征層級的條件分布,更好地表示不同特征層級間的結(jié)構(gòu)關(guān)系,進而增強特征的非線性表達能力。

(4) 輸出層

模型利用Softmax分類器[25]計算T時刻模型的分類輸出結(jié)果。輸出層的輸入為注意力矩陣與LSTM所提取的HRRP隱層序列特征的乘積,輸出為樣本類別。

1.2 特征提取層

SLSTM的基本組成結(jié)構(gòu)是LSTM單元,是LSTM在同一時間步長上的堆疊,LSTM是一類特殊的RNN,能夠有效避免RNN存在的梯度消失和梯度爆炸問題,同時能夠有效提取和利用序列樣本中長距離依賴信息,常用于序列數(shù)據(jù)的處理[26-28]。圖2為LSTM模型的結(jié)構(gòu)示意圖。

圖2 LSTM模型結(jié)構(gòu)示意圖Fig.2 Structure diagram of LSTM model

LSTM單元通過輸入門it,遺忘門ft和輸出門ot進行狀態(tài)迭代。其中:

it=σ(Wixxt+Wi hht-1+bi)

(1)

ft=σ(Wfxxt+Wf hht-1+bf)

(2)

ot=σ(Woxxt+Wo hht-1+bo)

(3)

ct=ftct-1+itφ(Wcxxt+Wchht-1+bc)

(4)

ht=otφ(ct)

(5)

式中：xt表示當(dāng)前時刻LSTM的輸入向量；ht-1、ct-1分別表示t-1時刻LSTM單元的隱藏層狀態(tài)和單元狀態(tài)；W為權(quán)值矩陣；b代表偏置向量；σ(·)為激活函數(shù)sigmoid；φ為tanh函數(shù)。

在LSTM單元中,sigmoid函數(shù)及其導(dǎo)數(shù)為

(6)

(7)

Sigmoid函數(shù)及導(dǎo)數(shù)圖像如圖3所示。

圖3 Sigmoid函數(shù)及其導(dǎo)數(shù)圖像Fig.3 Graph of sigmoid and its derivative

由圖(3)可知,sigmoid函數(shù)的導(dǎo)數(shù)取值范圍為(0,0.25],當(dāng)LSTM層數(shù)增加,在目標函數(shù)多次求導(dǎo)時會導(dǎo)致梯度消失問題的出現(xiàn),因此本文采用求導(dǎo)性能較好的Elu函數(shù)替換sigmoid函數(shù)作為SLSTM模型的激活函數(shù),Elu函數(shù)及其導(dǎo)數(shù)分別為

(8)

(9)

相對應(yīng)的函數(shù)圖像如圖4所示,由圖4可知,Elu函數(shù)導(dǎo)數(shù)的取值范圍為(0,1],可以減緩梯度消失現(xiàn)象的出現(xiàn)。

圖4 Elu函數(shù)及其導(dǎo)數(shù)圖像Fig.4 Graph of Elu and its derivative

1.3 注意力機制層

將Attention-SLSTM模型的注意力機制層展開如圖5所示。

圖5 本文注意力機制結(jié)構(gòu)圖Fig.5 Structure of attention mechanism in this paper

注意力機制參數(shù)學(xué)習(xí)可分為3個步驟[29]。

步驟 1求解權(quán)重得分,權(quán)重即特征向量對模型識別的貢獻大小,其計算方法為

et=vT·tanh(Wa·Xt+b)

(10)

步驟 2求解歸一化權(quán)重,即加權(quán)系數(shù):

(11)

步驟 3加權(quán)求和:

(12)

在式(10)～式(12)中,vT和b均為超參數(shù),Wa為注意力矩陣,需要隨機初始化設(shè)置,Xt為輸入向量,維度為n×r,n表示模型批處理的樣本數(shù),r為LSTM隱藏層神經(jīng)元個數(shù),輸入向量為LSTM的隱藏層狀態(tài)Ht或單元狀態(tài)Ct,即

(13)

(14)

1.4 輸出層

在得到SLSTM模型隱層序列特征Ht之后,采用softmax分類器輸出樣本的類別:

(15)

式中：p(ytj|X,θ)表示樣本序列屬于第j類的概率值;wj∈R1×m為分類器中的權(quán)值矩陣中的元素；m為隱層單元數(shù)。模型最終識別類別為所有j類概率值最大的類別。

2 實驗結(jié)果與分析

2.1 MSTAR數(shù)據(jù)集

MSTAR數(shù)據(jù)集[30-31]是SAR目標識別的標準數(shù)據(jù)集,其數(shù)據(jù)來源于分辨率為0.3 m×0.3 m的SAR,雷達在X波段工作,并且采用HH極化方式。MSTAR數(shù)據(jù)集中包含BTR70裝甲運輸車、BMP2步兵戰(zhàn)車和T72坦克等10種不同類別的地面樣本,其光學(xué)圖像和對應(yīng)的SAR圖像樣本如圖6所示。數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)來自雷達工作俯仰角為17°時所得到的目標圖像數(shù)據(jù),而測試集數(shù)據(jù)的俯仰角為15°,以便于檢驗?zāi)Ｐ偷姆夯阅堋?/p>

圖6 MSTAR數(shù)據(jù)集光學(xué)圖像及對應(yīng)的SAR圖像樣本Fig.6 Optical and corresponding SAR image in MSTAR dataset

本文實驗將每幅SAR圖像按照文獻[19]的方法變換為HRRP序列。步驟為首先SAR圖像做一維逆快速傅里葉變換(fast Fourier transform, FFT)變換得到復(fù)數(shù)域HRRP序列,再對其取幅度值并求平均得到平均HRRP序列。在此過程中,每幅SAR圖像能夠得到100幅HRRP樣本,再將其轉(zhuǎn)換成10幅平均HRRP。由于原始MSTAR數(shù)據(jù)集中包含2 747個SAR圖像訓(xùn)練樣本和3 203個測試樣本,因此可以得到27 470個HRRP序列訓(xùn)練樣本和32 030個測試樣本,表1給出了該數(shù)據(jù)集的組成。

表1 MSTAR序列HRRP數(shù)據(jù)集的組成

2.2 實驗結(jié)果與分析

為驗證本文所提出方法在HRRP序列識別種的有效性,設(shè)計了兩類不同目的的對比實驗,分別檢驗本文SLSTM和注意力機制的有效性。設(shè)置了多種傳統(tǒng)機器學(xué)習(xí)方法和深度學(xué)習(xí)方法作為基線方法開展對比實驗,包括SVM、RNN、LSTM、SLSTM和Attention-RNN。為了消除實驗中隨機誤差對結(jié)果帶來的影響,每種實驗方法均在相同參數(shù)設(shè)置的條件下重復(fù)進行5次,最終結(jié)果取5次結(jié)果的平均值。

本文硬件實驗環(huán)境為64位操作系統(tǒng),Inter Core i7-8500 CPU,一片RTX 2080Ti GPU,1T內(nèi)存;軟件環(huán)境為python3.7,Tensorflow學(xué)習(xí)框架。

2.2.1 檢驗本文堆疊LSTM的有效性

為探究本文采用的SLSTM結(jié)構(gòu)以及梯度消失緩解策略的有效性,本節(jié)對單層LSTM,以及不同層數(shù)L的SLSTM(SLSTM-sigmoid)和本文緩解梯度消失的SLSTM(SLSTM-Elu) 3種模型的識別性能進行了探究,實驗選取經(jīng)預(yù)處理的長度為32的HRRP序列作為模型的輸入,最后一個時間步所提取的隱層特征輸入到Softmax分類器種完成識別任務(wù)。層數(shù)L的取值為1～10,層數(shù)L與識別性能之間的對應(yīng)關(guān)系結(jié)果如圖7所示。由圖7可知,隨著LSTM層數(shù)的遞增,在一定范圍內(nèi),兩種SLSTM的識別率均保持上升趨勢,證明了堆疊的多層LSTM模型的HRRP序列識別性能優(yōu)于單層模型,這是由于多層結(jié)構(gòu)具有更強的特征提取能力,可以提取到更多的深層抽象可分性特征,其中包括序列種相鄰HRRP樣本之間的時空相關(guān)性。另外,SLSTM-Elu和SLSTM-sigmoid的識別率分別在LSTM層數(shù)為6和3之后出現(xiàn)下降,并在層數(shù)分別為8和4之后識別率低于單層模型,這是由于隨著層數(shù)的增加,兩種模型均出現(xiàn)了不同程度的梯度消失問題。值得注意的是,在每一個層數(shù)上,SLSTM-Elu模型的識別率均高于SLSTM-sigmoid模型,并且識別率出現(xiàn)轉(zhuǎn)折和低于單層LSTM所對應(yīng)的層數(shù)均大于SLSTM-sigmoid,這是由于采用Elu函數(shù)在一定程度上緩解了SLSTM的梯度消失現(xiàn)象,模型的每一步迭代均能學(xué)習(xí)到更深層的特征。綜合以上分析,驗證了本文采用的SLSTM模型在HRRP序列識別任務(wù)中具有有效性。

圖7 SLSTM層數(shù)與識別率對應(yīng)關(guān)系Fig.7 Corresponding relationship between SLSTM layers and accuracy

2.2.2 檢驗注意力機制的有效性

為了探究注意力機制在Attention-SLSTM中的有效性,從整體上檢驗本文所提方法在HRRP序列識別任務(wù)中的性能,本節(jié)設(shè)置了SVM、RNN、LSTM、SLSTM和Attention-RNN 5種對比實驗,其中后4種深度學(xué)習(xí)模型的隱藏層節(jié)點數(shù)均設(shè)置為64,批處理大小batch_size設(shè)置為32,最大epoch設(shè)置為500,SLSTM、Attention-RNN和Attention-SLSTM模型的最大堆疊層數(shù)設(shè)置為10。各模型在不同堆疊層數(shù)設(shè)置上的識別率對比表如表2和表3所示。

表2 單層模型識別率比較Table 2 Comparison of single-layer model recognition accuracy

表3 多層模型識別率比較Table 3 Comparison of multi-layer model recognition accuracy

由表2和表3可知,深度學(xué)習(xí)模型的識別率高于SVM模型,這是由于深度學(xué)習(xí)模型具有更強的特征提取能力。另外,加入Attention機制的模型的識別率普遍高于對應(yīng)的無Attention機制的識別率,其中,本文方法在堆疊層數(shù)為7時,取得了最高識別率,比無Attention機制的對應(yīng)模型的最高識別率高2.6%,驗證了注意力機制在HRRP序列識別任務(wù)中識別率方面的有效性。

為進一步探究各模型在收斂速度和識別率方面的性能,圖8給出了隨著迭代次數(shù)的增加,6種模型識別率的變化曲線。為保持各模型的最佳性能,RNN和LSTM兩種模型的參數(shù)設(shè)置保持不變,SLSTM-sigmoid堆疊層數(shù)為3,SLSTM-Elu堆疊層數(shù)為6,Attention-RNN的堆疊層數(shù)為5,其中Attention-RNN為基于注意力機制的5層堆疊式RNN網(wǎng)絡(luò)模型。

圖8 6種模型識別率迭代曲線Fig.8 Iterative curve of recognition accuracy for 6 models

由圖8可知,隨著迭代次數(shù)的增加,幾種模型的識別率均呈現(xiàn)上升趨勢,其中,本文提出的Attention-SLSTM模型識別率最高,并且迭代數(shù)為100時最先達到相對穩(wěn)定的識別率,驗證了本文所提出方法具有收斂速度快的優(yōu)點。另外,表2中單層模型識別率與本文方法最接近的Attention-RNN模型,在其堆疊層數(shù)為最優(yōu)設(shè)置的情況下,識別率依然與本文所提Attention-SLSTM存在差距,驗證了本文方法的有效性。綜上,本文方法具有更快的收斂速度和更好的識別性能。

3 結(jié) 論

本文提出的Attention-SLSTM模型將SLSTM引入到HRRP序列識別任務(wù),提高了模型的表達能力;通過替換LSTM模型激活函數(shù),緩解了梯度消失問題;將注意力機制與SLSTM相結(jié)合,充分提取了HRRP序列中相鄰樣本之間的時空相關(guān)性及其他深層抽象特征,提高了模型的收斂速度和識別性能。在雷達實際工作環(huán)境中,HRRP序列往往會出現(xiàn)樣本缺失、噪聲污染等問題,如何針對以上現(xiàn)實問題提出更有效的雷達HRRP序列目標識別方法,將會是下一步研究的重點方向。