李 璐 杜 蘭 何浩男 李 晨 鄧 盛
(西安電子科技大學(xué)雷達(dá)信號處理國家級重點(diǎn)實(shí)驗(yàn)室 西安 710071)
作為一種主動微波成像系統(tǒng),合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)具有全天時(shí)、全天候的遙感成像能力,在國民經(jīng)濟(jì)和國防軍事等領(lǐng)域的應(yīng)用中具有獨(dú)特的優(yōu)勢[1,2]。隨著近現(xiàn)代雷達(dá)技術(shù)的發(fā)展,SAR圖像的數(shù)量越來越多,其分辨率也越來越高。21世紀(jì)的SAR促進(jìn)了自動目標(biāo)識別(Automatic Target Recognition, ATR)的研究與應(yīng)用[3]。SAR ATR作為SAR圖像智能解譯領(lǐng)域最重要的應(yīng)用之一,其典型的系統(tǒng)主要包括目標(biāo)檢測[4–6]、目標(biāo)鑒別[7,8]、目標(biāo)識別[9–12]3個階段。在這3個階段中,目標(biāo)識別旨在對檢測到的目標(biāo)進(jìn)行類別的判定,引起了相關(guān)學(xué)者的廣泛關(guān)注。
在通常的SAR目標(biāo)識別領(lǐng)域的研究中,選擇有效的特征是非常重要的步驟。經(jīng)過學(xué)者多年的研究,發(fā)展并提出了許多應(yīng)用于SAR圖像的特征提取方法來描述SAR目標(biāo),例如圖像幅度特征[10]、尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)特征[13]、方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征[14]、密集SIFT(Dense-SIFT)特征[15]等。然而,在實(shí)際應(yīng)用中,僅僅依靠單一種類的特征很難對SAR目標(biāo)特性進(jìn)行充分的描述和表征,進(jìn)而難以獲得較高的識別性能。
因此,旨在挖掘并聯(lián)合應(yīng)用多種從不同角度表征目標(biāo)特性的特征融合技術(shù)已成為重要的研究熱點(diǎn)。特征融合不僅可以提高描述目標(biāo)的信息量來幫助實(shí)現(xiàn)完整穩(wěn)健的分析,而且可以有效地整合不同特征間的優(yōu)勢來降低訓(xùn)練的復(fù)雜性、提升算法的普適性。對于特征融合技術(shù)而言,挖掘互補(bǔ)的目標(biāo)描述信息是首要問題,其次,融合方法的選擇和使用也是重點(diǎn)關(guān)注的方面。
然而,大多數(shù)傳統(tǒng)的融合方法是基于簡單的淺層結(jié)構(gòu),其不能進(jìn)一步挖掘更抽象的特征表達(dá)。而隨著近些年深度學(xué)習(xí)的蓬勃發(fā)展,可以從原始特征中發(fā)掘更深層次信息的深度模型已經(jīng)成為諸多領(lǐng)域的熱門研究要點(diǎn)。事實(shí)上,當(dāng)前幾乎所有的深度學(xué)習(xí)及其應(yīng)用都建立在深度神經(jīng)網(wǎng)絡(luò)模型上并取得了巨大的性能提升。值得注意的是,深度神經(jīng)網(wǎng)絡(luò)帶來的巨大性能提升需要大量的具有標(biāo)記信息的訓(xùn)練樣本。然而,在SAR目標(biāo)識別任務(wù)中,缺少大量的具有標(biāo)記的訓(xùn)練樣本[16–18]。另外,深度神經(jīng)網(wǎng)絡(luò)的性能受到超參數(shù)設(shè)置的影響較大,不同的超參數(shù)設(shè)置可能帶來巨大的性能差異。
考慮到深度模型的3個重要成功因素,即逐層處理、特征變換和足夠的模型復(fù)雜度,文獻(xiàn)[19]提出了深度森林模型。深度森林是一種新的決策樹集成模型,通過堆疊結(jié)構(gòu)逐層進(jìn)行表征學(xué)習(xí),挖掘深層的特征表達(dá)。并且,其性能對超參數(shù)設(shè)置具有一定的魯棒性。因此,相比于深度神經(jīng)網(wǎng)絡(luò),深度森林模型更適合于數(shù)據(jù)體量小的SAR目標(biāo)識別任務(wù)。
受到上述研究的啟發(fā),本文提出一種基于深度森林的多級特征融合SAR目標(biāo)識別方法。本方法挖掘幅度特征和結(jié)構(gòu)特征兩種互補(bǔ)的目標(biāo)特征表征,較為完整地從不同角度對目標(biāo)進(jìn)行描述;同時(shí),分別對幅度特征和結(jié)構(gòu)特征挖掘其多級特征,實(shí)現(xiàn)從局部到全局的目標(biāo)表征。隨后,為了更完整、充分地反映SAR目標(biāo)信息,借鑒深度森林的思想,對多級幅度特征和多級結(jié)構(gòu)特征進(jìn)行聯(lián)合利用。一方面通過堆疊的方式不斷將多級幅度特征和多級結(jié)構(gòu)特征進(jìn)行融合,另一方面通過逐層的特征變換挖掘深層抽象的信息。通過對兩種不同表征的特征的充分融合、挖掘深層信息,提高SAR目標(biāo)識別的性能。綜上所述,本文的貢獻(xiàn)如下:
(1) 挖掘SAR圖像中體現(xiàn)了目標(biāo)反射強(qiáng)度的幅度特征和體現(xiàn)結(jié)構(gòu)信息的Dense-SIFT特征,聯(lián)合利用兩種特征使得SAR目標(biāo)信息得到更完整、充分的反映。
(2) 在幅度特征和結(jié)構(gòu)特征的基礎(chǔ)上,分別提取多級的幅度特征和多級的結(jié)構(gòu)特征,進(jìn)一步反映從局部到全局的目標(biāo)特性表征。
(3) 借鑒深度森林模型的思想,對多級幅度特征和多級Dense-SIFT特征進(jìn)行特征融合。通過逐層的特征變換和堆疊結(jié)構(gòu)實(shí)現(xiàn)兩種特征多層次的融合,挖掘出深層融合特征,對目標(biāo)進(jìn)行識別。
圖1展示了本文所提基于深度森林的多級特征融合SAR目標(biāo)識別的流程圖。從圖1可以看出,本文所提方法首先對SAR圖像從兩個不同的角度提取多級的特征,分別為多級幅度特征和多級結(jié)構(gòu)特征;然后引入深度森林模型的思想,在堆疊的結(jié)構(gòu)中對多級幅度特征和多級結(jié)構(gòu)特征進(jìn)行多層次融合,同時(shí)通過逐層的特征變換挖掘提取深層特征信息;最后利用深度融合后的特征進(jìn)行目標(biāo)識別。
大多數(shù)傳統(tǒng)的SAR目標(biāo)識別方法僅僅使用SAR圖像域的幅度信息作為目標(biāo)表征。盡管幅度特征是極其重要的目標(biāo)特性,但是在斑點(diǎn)噪聲的影響下,圖像上像素點(diǎn)的強(qiáng)度會產(chǎn)生浮動,限制了目標(biāo)識別的性能[5]。因此,僅僅使用圖像的幅度特征是不夠的。本文在圖像幅度特征的基礎(chǔ)上,引入了描述梯度結(jié)構(gòu)信息的Dense-SIFT特征。Dense-SIFT特征是通過對輸入圖像分塊提取SIFT特征獲得相對稠密的特征點(diǎn),相比于傳統(tǒng)的SIFT特征,Dense-SIFT特征更適合于目標(biāo)識別任務(wù)。通過幅度特征和Dense-SIFT結(jié)構(gòu)特征的聯(lián)合使用較為完整充分地描述目標(biāo)。進(jìn)一步,在幅度特征和Dense-SIFT結(jié)構(gòu)特征的基礎(chǔ)上,本文分別對兩種特征提取其多級特征,即多級幅度特征和多級Dense-SIFT結(jié)構(gòu)特征,進(jìn)一步反映從局部到全局的目標(biāo)特性表征。
圖1 基于深度森林的多級特征融合SAR目標(biāo)識別流程圖
對于多級幅度特征的提取,本文選擇多個不同尺寸的池化窗口,池化窗口的寬和高由公式W ={(w1×w1),(w2×w2),···,(wM×wM)}確定,其中,M表示池化窗口的個數(shù),W ,H分別表示樣本圖像的寬和高。利用 M個不同尺寸的池化窗口分別對SAR樣本圖像進(jìn)行多級池化,由此得到每個樣本對應(yīng)的 M 個池化后的圖像。將 M個池化后的圖像中所有像素點(diǎn)的幅度值拉伸成列向量后首尾拼接,即可得到每個樣本的多級幅度特征。
Dense-SIFT特征的關(guān)鍵點(diǎn)提取是通過使用窗口滑動的方式對圖像中的網(wǎng)格點(diǎn)進(jìn)行密集采樣而得到的,提取示意圖如圖2所示。用窗口尺寸 l×l的切片窗口從圖像左上角的初始位置以滑動步長s 開始滑動,之后按此方法掃描直到窗口到達(dá)圖像右下角位置,對每個小窗口的中心點(diǎn)計(jì)算一個SIFT特征,所有窗口的SIFT特征組合起來,即構(gòu)成了該圖像的密集SIFT特征。提取Dense-SIFT特征的具體流程如表1所示。
對于多級Dense-SIFT結(jié)構(gòu)特征的提取,選擇多個不同尺寸的切片窗口,切片窗口的寬和高由公式L={(l1×l1),(l2×l2),···,(lN×lN)}確定,其中,N表示切片窗口的個數(shù)。利用 N個不同尺寸的切片窗口,分別對每個歸一化后的樣本,提取N 個Dense-SIFT特征向量。將所有Dense-SIFT特征向量首尾拼接,即可得到每個樣本的多級Dense-SIFT結(jié)構(gòu)特 征。
基于多級幅度特征和多級Dense-SIFT結(jié)構(gòu)特征,本文引入深度森林模型的思想,利用堆疊的結(jié)構(gòu)對特征進(jìn)行多次融合,同時(shí)通過逐層的特征變換中挖掘深層信息;最后利用深層融合后的特征對目標(biāo)進(jìn)行識別。
圖2 Dense-SIFT特征提取示意圖
深度森林模型應(yīng)用了堆疊的結(jié)構(gòu),在堆疊結(jié)構(gòu)中,每一層是由兩個完全隨機(jī)森林和兩個隨機(jī)森林組成的集合。其中,采用不同類型的隨機(jī)森林是為了增加集成學(xué)習(xí)中的差異性。堆疊層中的每個森林以特征和前一層的類別向量為輸入,經(jīng)過每個森林得到的預(yù)測輸出拼成類別向量和另一特征作為下一層的輸入。
如圖1所示,本文引入了深度森林的思想,將其應(yīng)用到深層特征融合中。其具體的融合算法如表2所示。
在提出的基于深度森林的融合方法中,每一層通過隨機(jī)森林和完全隨機(jī)森林,將輸入特征映射到更加抽象的類別空間,挖掘了深層的信息。而在堆疊的結(jié)構(gòu)中,多級幅度特征和多級Dense-SIFT特征間隔地輸入每一層中,與上一層的輸出特征進(jìn)行拼接作為當(dāng)前層的輸入特征。隨著逐層訓(xùn)練,兩種特征得以不斷進(jìn)行融合。
表1 提取Dense-SIFT特征的流程
表2 基于深度森林的特征融合算法的流程
本文實(shí)驗(yàn)在運(yùn)動和靜止目標(biāo)獲取與識別(Moving and Stationary Target Acquisition and Recognition, MSTAR)數(shù)據(jù)集上驗(yàn)證。MSTAR數(shù)據(jù)集是由美國高等研究規(guī)劃局和空軍實(shí)驗(yàn)室聯(lián)合發(fā)布的。MSTAR數(shù)據(jù)集作為實(shí)測SAR數(shù)據(jù),現(xiàn)已廣泛用于SAR目標(biāo)識別任務(wù)。該數(shù)據(jù)集中包括許多不同方位角和俯仰角下的地面軍事車輛目標(biāo)的SAR圖像,圖像分辨率為0 .3 m ×0 .3 m,圖像的尺寸為64×64。地面軍事車輛目標(biāo)共有10類,分別為:步兵戰(zhàn)車BMP2、裝甲車BTR70、主戰(zhàn)坦克T72、自行榴彈炮2S1、裝甲偵察車BRDM、裝甲車BTR60、軍用推土機(jī)D7、主戰(zhàn)坦克T62、軍用卡車ZIL131和自行防空火炮ZSU23/4。圖3和圖4分別給出了各目標(biāo)的光學(xué)圖像和SAR圖像示例。
在進(jìn)行目標(biāo)識別研究時(shí),該數(shù)據(jù)集推薦使用俯仰角為17°的目標(biāo)樣本作為訓(xùn)練數(shù)據(jù),俯仰角為15°的目標(biāo)樣本作為測試數(shù)據(jù)。參考現(xiàn)有文獻(xiàn)[20],本文主要針對兩種實(shí)驗(yàn)場景進(jìn)行研究:3類目標(biāo)識別實(shí)驗(yàn)和10類目標(biāo)識別實(shí)驗(yàn)。在3類目標(biāo)識別實(shí)驗(yàn)中,主要針對BMP2,BTR70和T72進(jìn)行識別。其中B M P 2 有3 種變體,分別為B M P S N 9 5 6 3,BMPSN9566和BMPSNC21, T72也有3種變體,分別為T72SN132, T72SN812, T72SNS7。表3給出了3類目標(biāo)識別場景中訓(xùn)練集和測試集的具體劃分情況。除了3類目標(biāo)識別中的3類目標(biāo)及其變體,10類目標(biāo)識別實(shí)驗(yàn)中還包含另外7種地面車輛目標(biāo),即BTR60, 2S1, BRDM, D7, T62, ZIL131和ZSU23/4。表4給出了10類目標(biāo)識別場景中訓(xùn)練集和測試集的具體劃分情況。
在多級幅度特征的提取中,多個不同尺寸的池化窗口 W ={(1×1), (3×3), (5×5)};在多級Dense-SIFT結(jié)構(gòu)特征的提取中,多個不同尺寸的切片窗口 L={(16×16), (32×32), (64×64)},滑窗步長 s=6;深度森林模型中,每個森林中樹分類器的個數(shù)在3類MSTAR數(shù)據(jù)實(shí)驗(yàn)中設(shè)為1000,在10類MSTAR數(shù)據(jù)實(shí)驗(yàn)中設(shè)為2500;閾值 T設(shè)為0.0001。本文方法及對比方法分別基于Python,MATLAB和Caffe實(shí)現(xiàn)。
圖3 MSTAR數(shù)據(jù)集10類目標(biāo)光學(xué)圖像示例
圖4 MSTAR數(shù)據(jù)集10類目標(biāo)SAR圖像示例
表3 MSTAR數(shù)據(jù)集3類目標(biāo)識別場景訓(xùn)練集、測試集劃分
表4 MSTAR數(shù)據(jù)集10類目標(biāo)識別場景訓(xùn)練集、測試集劃分
3.3.1 3類MSTAR數(shù)據(jù)的識別實(shí)驗(yàn)
本節(jié)基于3類7型MSTAR數(shù)據(jù)驗(yàn)證本文提出方法以及對比方法的識別性能。為了定量評估方法性能,利用式(1),計(jì)算實(shí)驗(yàn)中每種方法的測試樣本的識別正確率
其中,A cc 表示測試樣本的識別正確率, Tr表示識別正確的測試樣本個數(shù), Q表示測試樣本的總個數(shù)。A cc值越大,說明識別性能越好。
本文方法和對比方法的性能如表5所示,同時(shí)在圖5中給出更直觀的識別性能比較。在表5和圖5的對比方法中,“幅度特征”表示將圖像像素點(diǎn)的幅度值作為特征,然后利用線性支持向量機(jī)(Support Vector Machine, SVM)進(jìn)行識別的方法;“PCA”表示對圖像的幅度特征利用主成分分析(Principle Component Analysis, PCA)方法進(jìn)行降維,將經(jīng)過降維處理得到的特征利用SVM進(jìn)行識別的方法;“模板匹配”方法利用訓(xùn)練數(shù)據(jù)的特征向量構(gòu)成模板,用測試數(shù)據(jù)的特征向量與各模板進(jìn)行比較,依據(jù)特征向量之間的相似程度判定測試數(shù)據(jù)所屬類別;“SRC”代表稀疏表示分類的方法;“Dense-SIFT”表示對SAR圖像提取Dense-SIFT結(jié)構(gòu)特征,然后利用SVM進(jìn)行識別的方法;“拼接融合”是將圖像幅度特征和Dense-SIFT特征進(jìn)行拼接融合,然后用SVM進(jìn)行識別的方法;“AE”表示基于自編碼網(wǎng)絡(luò)的識別方法;“Eu-AE”指的是在自編碼網(wǎng)絡(luò)中引入歐氏距離約束項(xiàng)的方法[11],利用歐氏距離約束充分利用有限的數(shù)據(jù);“VGG”表示將Gao等人[17]提出的深度網(wǎng)絡(luò)結(jié)構(gòu)VGG用于目標(biāo)識別的方法;“LTCNN”為文獻(xiàn)[21]中提出的輕量級的雙流卷積神經(jīng)網(wǎng)絡(luò)(Lightweight Twostream Convolutional Neural Network, LTCNN)SAR目標(biāo)識別方法;“MFCNN”為文獻(xiàn)[22]提出的基于多特征的卷積神經(jīng)網(wǎng)絡(luò)(Multiple Feature Convolutional Neural Network, MFCNN) SAR目標(biāo)識別方法;“CF-DF”表示將本文所提特征級聯(lián)后再利用深度森林進(jìn)行分類的識別方法。
表5 不同識別方法對應(yīng)的3類7型MSTAR數(shù)據(jù)測試樣本識別正確率
圖5 3類7型MSTAR數(shù)據(jù)測試樣本的識別性能
由表5及圖5可以看出,對于實(shí)驗(yàn)所用的3類7型MSTAR數(shù)據(jù),本文算法的測試樣本識別率能達(dá)到0.9663。使用幅度特征和SVM分類器的方法具有0.8491的識別正確率,而使用Dense-SIFT特征和SVM分類器的方法達(dá)到了0.9209的識別正確率。相比于這兩種方法,本文所提深度特征融合方法分別提升了大約11%和4%。將兩種特征進(jìn)行拼接融合的方法實(shí)現(xiàn)了0.9318的識別正確率。相比于單獨(dú)使用兩種特征的方法,融合拼接的方法具有更高的識別率,說明挖掘目標(biāo)的多種具有互補(bǔ)性的特征進(jìn)行融合對于目標(biāo)識別是有利的。雖然拼接融合的識別方法相比于單獨(dú)使用特征的識別方法具有一定的性能提升,但是利用拼接操作來進(jìn)行融合的方式較簡單,沒有深入挖掘特征的深層表征。本文的方法相比于拼接融合的識別方法具有大約3.5%的性能提升。同時(shí),相比于其他的傳統(tǒng)識別方法,即PCA特征結(jié)合SVM的方法,模板匹配方法,稀疏表示方法3種對比方法,本文算法至少提升了3.5%的識別精度。相比AE和Eu-AE兩種自編碼方法,本方法具有至少2.5%的識別性能提升。相比于3種卷積神經(jīng)網(wǎng)絡(luò),即VGG, LTCNN和MFCNN,本文方法也有至少3%的識別性能提升。與CF-DF方法的識別性能對比后發(fā)現(xiàn)本文方法具有較好的性能,說明本文提出的交替融合方法更有效。
3.3.2 10類MSTAR數(shù)據(jù)的識別實(shí)驗(yàn)
在MSTAR10類14型數(shù)據(jù)上,表6給出了本文方法和幅度特征結(jié)合SVM的方法、PCA特征結(jié)合SVM的方法、模板匹配方法、SRC、Dense-SIFT特征結(jié)合SVM的方法、特征拼接融合的方法6種傳統(tǒng)目標(biāo)識別方法進(jìn)行識別正確率的比較。同時(shí),表6中還呈現(xiàn)了AE, Eu-AE, VGG, LTCNN, MFCNN 5種神經(jīng)網(wǎng)絡(luò)方法以及CF-DF方法的識別正確率。圖6中給出更直觀的識別性能比較。
表6 不同識別方法對應(yīng)的10類14型MSTAR數(shù)據(jù)測試樣本識別正確率
由表6及圖6可以看出,對于實(shí)驗(yàn)所用的10類14型MSTAR數(shù)據(jù),本文方法的測試樣本識別率能達(dá)到0.9276。與幅度特征結(jié)合SVM方法相比,本文提升了大約15%的識別正確率;與Dense-SIFT特征結(jié)合SVM方法相比,本文方法提升了大約2.5%的識別正確率;與拼接融合的識別方法相比,本文方法的識別正確率提升了大約1.3%。同時(shí),相比于其他傳統(tǒng)的目標(biāo)識別方法,即PCA特征結(jié)合SVM的方法、模板匹配方法、稀疏表示3種對比方法,本文方法至少提升了5%的識別精度。而相比AE, Eu-AE, VGG, LTCNN, MFCNN 5種神經(jīng)網(wǎng)絡(luò)方法,本文方法至少存在1%的性能提升。此外,與3類數(shù)據(jù)的實(shí)驗(yàn)結(jié)果相似,本文方法比CF-DF方法具有更好的識別性能。
3.3.3 深度森林中超參數(shù)對識別性能的實(shí)驗(yàn)
在深度森林中,每個森林所包含的樹的個數(shù)是影響識別性能的超參數(shù)。因此,本節(jié)通過設(shè)置不同樹的數(shù)目對應(yīng)得到的3類7型MSTAR數(shù)據(jù)平均識別正確率來分析超參數(shù)對識別性能的影響。
從圖7中可以看出,當(dāng)樹的數(shù)目取很小的值(100)時(shí),本文提出的方法在3類MSTAR數(shù)據(jù)上的平均正確率為0.9582。雖然此時(shí)的性能不是最優(yōu),但是相比于3.3.1節(jié)中對比方法的識別性能,本文提出的方法的識別性能仍然較好。當(dāng)樹的數(shù)目為500和1000時(shí),本文提出的方法達(dá)到最高的平均識別正確率0.9663。而當(dāng)樹的數(shù)目增加到1500,2000時(shí),其模型參數(shù)量也隨之增多,本文提出的方法的性能略微有所下降,但仍然具有高于0.96的識別正確率。在樹分類器個數(shù)不同的情況下,分類識別的正確率雖然具有差異但是其變化浮動不明顯,即使在樹分類器個數(shù)較少的時(shí)候,也能取得較好的識別效果,說明深度森林分類器對樹分類器個數(shù)這個超參數(shù)不敏感,能夠避免因?yàn)槌瑓?shù)的不合適設(shè)置而大幅度影響識別的性能的問題。
圖6 10類14型MSTAR數(shù)據(jù)測試樣本的識別性能
圖7 本文方法在不同的樹數(shù)目下對應(yīng)的3類7型MSTAR數(shù)據(jù)測試樣本的識別性能
本文提出一種基于深度森林的多級特征融合SAR目標(biāo)識別方法。該方法分別對幅度特征和Dense-SIFT結(jié)構(gòu)特征挖掘其多級特征,得到從局部到全局的特征表征;并考慮到兩種特征的互補(bǔ)性,利用深度森林模型對兩種特征進(jìn)行融合,同時(shí)在深度森林逐層的特征變換中挖掘深層信息,進(jìn)行目標(biāo)識別。本文實(shí)驗(yàn)從3類7型MSTAR數(shù)據(jù)和10類14型MSTAR數(shù)據(jù)中驗(yàn)證了本文提出的方法相比于傳統(tǒng)的SAR目標(biāo)識別方法和其他基于深度模型的SAR目標(biāo)識別方法具有更高的識別正確率。而且本文方法的性能對超參數(shù)的設(shè)置不敏感。隨著雷達(dá)技術(shù)的發(fā)展,其獲取的數(shù)據(jù)量越來越多,但是對所有數(shù)據(jù)進(jìn)行人工標(biāo)記需要耗費(fèi)大量的人力物力,因此基于少量標(biāo)記樣本的半監(jiān)督目標(biāo)識別是重要的研究方向。后續(xù)工作將進(jìn)一步研究探討結(jié)合本文方法思想的半監(jiān)督目標(biāo)識別方法。