李永剛, 朱衛(wèi)綱
(航天工程大學(xué),a.研究生院; b.電子與光學(xué)系,北京 101000)
合成孔徑雷達(Synthetic Aperture Radar,SAR)是一種具有高分辨率的成像雷達,相比于可見光成像、紅外探測、激光探測等光學(xué)探測手段,合成孔徑雷達不受云、霧等自然條件的限制,被廣泛應(yīng)用于戰(zhàn)場監(jiān)視和地形繪制等方面。隨著合成孔徑雷達分辨率的不斷提高,SAR圖像目標(biāo)識別成為研究的熱點。SAR圖像目標(biāo)識別主要包括檢測、鑒別和識別3個階段[1],具體流程如圖1所示[2]。
圖1 SAR圖像自動識別流程Fig.1 Automatic recognition process of SAR image
檢測階段在SAR圖像中提取感興趣區(qū)域(Region of Interest,ROI),也就是包含目標(biāo)的小區(qū)域。傳統(tǒng)檢測方法中最為常用的是恒虛警率(Constant False Alarm Rate, CFAR)檢測器[3-4],近年來,隨著深度學(xué)習(xí)技術(shù)在檢測階段的不斷應(yīng)用,檢測效果得到顯著提高,例如,文獻[5]采用淺層特征增強網(wǎng)絡(luò)結(jié)構(gòu),同時使用空洞卷積擴大特征圖的感受野,增強網(wǎng)絡(luò)對小尺寸艦船的適應(yīng)性;文獻[6]將目前先進的單次多盒檢測器(Single Shot multibox Detector,SSD)算法應(yīng)用于SAR圖像艦船目標(biāo)檢測,針對小目標(biāo)檢測效果不佳采用融合上下文信息和遷移模型學(xué)習(xí)的方法進行創(chuàng)新;文獻[7]通過設(shè)計不同殘差網(wǎng)絡(luò)的殘差單元,改進特征金字塔網(wǎng)絡(luò)結(jié)構(gòu),引入小目標(biāo)平衡因子優(yōu)化損失函數(shù)來提高小尺寸艦船目標(biāo)的檢測效果。鑒別階段對檢測階段的ROI進行自然雜波虛警的濾除。識別階段對SAR圖像目標(biāo)的類型進行識別分類。本文著重討論識別分類現(xiàn)狀。
文獻[2]提出目前對SAR圖像目標(biāo)識別的難點主要集中于以下3個方面:1) 目標(biāo)變體與本體之間存在著差異,例如不同目標(biāo)之間的連接變體、目標(biāo)受損、覆蓋以及包含運動部件,這些變體既可以單獨出現(xiàn),也可以組合出現(xiàn),所有這些目標(biāo)的變體都能引起SAR圖像特征的變化;2) 目標(biāo)成像環(huán)境的變化,不同姿態(tài)、遮擋、天氣等都對目標(biāo)識別造成影響;3) SAR圖像成像參數(shù)的變化,SAR圖像成像過程中不同的俯仰角、不同的波形寬度、不同的噪聲水平和不同的分辨率易造成SAR圖像目標(biāo)的識別性能不同,因此,如何自動地對SAR圖像目標(biāo)進行分類識別是一個十分復(fù)雜的問題。近年來,隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,SAR圖像目標(biāo)識別得到顯著提升,深度學(xué)習(xí)算法雖然在一定程度上減少了人工對SAR圖像特征的設(shè)計,但是基于深度學(xué)習(xí)的方法解決SAR圖像目標(biāo)識別問題時的難點在于數(shù)據(jù)樣本量缺乏,難以支撐大規(guī)模訓(xùn)練數(shù)據(jù)樣本量;數(shù)據(jù)樣本類別不均衡造成識別效果降低。
目前基于深度學(xué)習(xí)的SAR圖像目標(biāo)識別,針對小樣本目標(biāo)識別方面采用遷移學(xué)習(xí)和度量學(xué)習(xí)的方法;針對SAR圖像數(shù)據(jù)不均衡的問題采用批內(nèi)平衡采樣的方法提高對SAR圖像目標(biāo)的識別性能。本文從SAR圖像目標(biāo)識別數(shù)據(jù)集,多角度SAR圖像識別網(wǎng)絡(luò)的設(shè)計,小樣本SAR圖像目標(biāo)識別方法(即遷移學(xué)習(xí)、度量學(xué)習(xí))以及數(shù)據(jù)不均衡SAR圖像目標(biāo)識別4個方面進行綜述。
目前SAR圖像目標(biāo)識別研究采用的數(shù)據(jù)集主要包括美國國防高等研究計劃署(Defense Advanced Research Projects Agency,DARPA)公開的MSTAR(Moving and Stationary Target Acquisition and Recognition,MSTAR)數(shù)據(jù)集,中國的OpenSARShip數(shù)據(jù)集和FUSAR_Ship1.0數(shù)據(jù)集。
MSTAR數(shù)據(jù)集[8]是由DARPA公開的SAR圖像目標(biāo)識別數(shù)據(jù)集。該數(shù)據(jù)集通過高分辨率的聚束式合成孔徑雷達采集多種前蘇聯(lián)軍事車輛目標(biāo)的SAR圖像。高分辨率的聚束式合成孔徑雷達的分辨率為0.3 m。工作在X波段,所用的極化方式為HH極化方式。MSTAR數(shù)據(jù)集主要是靜止的SAR車輛目標(biāo)圖像,為了方便研究不同成像角度對識別算法的影響,數(shù)據(jù)集包括了不同成像角度的車輛目標(biāo)圖像。為了方便識別算法的訓(xùn)練和預(yù)測,該數(shù)據(jù)集將采集到的數(shù)據(jù)進行處理,從中提取像素大小為128×128的目標(biāo)切片數(shù)據(jù),并將數(shù)據(jù)分為訓(xùn)練集和測試集兩類。在訓(xùn)練集樣本中主要包括成像角度為17°的裝甲運輸車、步兵戰(zhàn)車和坦克SAR圖像目標(biāo);測試集主要包括成像角度為15°的3類目標(biāo),通過不同成像角度驗證識別算法的有效性。MSTAR數(shù)據(jù)集包含一批混合的軍事目標(biāo)切片數(shù)據(jù),從類別上看混合的目標(biāo)切片數(shù)據(jù)主要是軍事應(yīng)用的各類型車、坦克和不同類型的炮。其主要包括裝甲偵察車、裝備運輸車、推土機、貨運卡車;T62坦克和T72坦克;自行榴彈炮、自行高炮。這些目標(biāo)提供了不同成像角度的SAR圖像,主要為后續(xù)不同成像角度對SAR圖像目標(biāo)識別算法開展研究。
OpenSARShip數(shù)據(jù)集[9]是于2017年構(gòu)建的專門針對SAR圖像艦船目標(biāo)識別的數(shù)據(jù)集。OpenSARShip包含貨船(cargo)、疏浚船(dredging)、漁船(fishing)、客船(passenger)、領(lǐng)航船(pilot vessel)、港口補給船(port tender)、搜救船(search)、油船(tanker)、拖船(tug)、水面飛機(wing in ground)和其他類(other type)共11類艦船目標(biāo)。OpenSARShip數(shù)據(jù)集包括有地距檢測產(chǎn)品和單視復(fù)圖像產(chǎn)品兩種工作模式下的SAR圖像艦船目標(biāo),每種工作模式都有VH和VV計劃方式。
FUSAR_Ship1.0數(shù)據(jù)集[10]是由某高校重點實驗室支持的高分3號衛(wèi)星的SAR-AIS開放式對位數(shù)據(jù)集。高分3號(GF-3)是中國第一臺民用C波段全極化星載合成孔徑雷達(SAR),主要用于海洋遙感和海洋監(jiān)測。FUSAR-Ship數(shù)據(jù)集是由擬議的SAR-AIS自動配對程序在100多個GF-3場景中構(gòu)建的,這些場景涵蓋了各種各樣的海洋、陸地、海岸、河流和島嶼場景,包括5000多種帶有自動識別系統(tǒng)(AIS)消息的艦船圖像切片以及一些其他類型的海洋目標(biāo)和背景雜波,用于艦船目標(biāo)識別。
由于SAR目標(biāo)對觀測方位向的變化十分敏感,MSTAR數(shù)據(jù)集給出了不同角度的SAR圖像目標(biāo),因此,對SAR圖像目標(biāo)的多角度識別問題是目前SAR圖像識別算法研究的重點,不同的成像角度對SAR圖像的識別結(jié)果各不相同。文獻[11]提出了雙向長短期記憶(Long Short-Term Memory,LSTM) 循環(huán)神經(jīng)網(wǎng)絡(luò)對不同成像角度的SAR圖像目標(biāo)進行識別。首先,該方法將不同成像角的SAR圖像目標(biāo)進行排列組成不同的目標(biāo)序列,然后,實現(xiàn)Gabor濾波器和三片局部二值化模式,對空間特征進行提取,接下來通過多層感知機進行降維處理,最后,通過一個雙向LSTM遞歸神經(jīng)網(wǎng)絡(luò)進行多角度特征融合,并進一步集成分類器來實現(xiàn)目標(biāo)識別。對10類目標(biāo)進行識別,其準(zhǔn)確率達到99.9%。此外,它的抗噪聲和抗混淆性能也優(yōu)于傳統(tǒng)的基于深度學(xué)習(xí)的方法。文獻[12-13]選取3幅相同目標(biāo)在不同方位角的SAR圖像,將SAR圖像當(dāng)作彩色圖像的RGB 3個通道的圖像輸入到網(wǎng)絡(luò)中進行目標(biāo)識別。針對多角度SAR圖像目標(biāo)識別問題,文獻[14]的特征提取網(wǎng)絡(luò)主要是由提取單張圖像特征的EfficientNet網(wǎng)絡(luò)和進一步提取多角度SAR圖像序列時序特征的BiGRU網(wǎng)絡(luò)構(gòu)成。該方法首先使用一組共享權(quán)值的EfficientNet網(wǎng)絡(luò)提取圖像序列中單張圖像的空間特征(B,L,U),其中,B為模型訓(xùn)練時的步長,L為圖像序列的圖像數(shù)量,U為單張圖像空間特征的維度;然后對圖像序列所提取的圖像特征序列進行維度變換,得到特征維度(B,L,U),再送入BiGRU網(wǎng)絡(luò)提取多角度SAR圖像序列時序特征(B,V),其中,V為特征的維度;最后將經(jīng)過BiGRU網(wǎng)絡(luò)提取的特征送入全連接層獲取最終的輸出,得到分類類別,該方法在MSTAR數(shù)據(jù)上識別準(zhǔn)確率明顯高于其他多角度SAR圖像目標(biāo)識別方法。文獻[15]針對SAR目標(biāo)角度敏感問題,建立一種改進池化的CNN模型,可以在不影響算法復(fù)雜度的前提下,提高卷積神經(jīng)網(wǎng)絡(luò)在不同方位角的識別性能。
由于SAR圖像獲取成本較高,目前對于軍事目標(biāo)公開的SAR圖像目標(biāo)識別數(shù)據(jù)集相對較少,因此,通過小樣本數(shù)據(jù)量進行SAR圖像目標(biāo)識別是目前研究的熱點問題。本章總結(jié)基于遷移學(xué)習(xí)的SAR圖像目標(biāo)識別和基于度量學(xué)習(xí)的SAR圖像目標(biāo)識別方法。
遷移學(xué)習(xí)是把已訓(xùn)練好的模型(預(yù)訓(xùn)練模型)參數(shù)遷移到新的模型來幫助新模型訓(xùn)練。對于給定的源域Ds及其對應(yīng)的源任務(wù)Ts和目標(biāo)域Dt及其對應(yīng)的目標(biāo)任務(wù)Tt,遷移學(xué)習(xí)是通過從給定的源域Ds和源任務(wù)Ts中學(xué)到相應(yīng)的知識,從而得到目標(biāo)域Ds的目標(biāo)預(yù)測函數(shù)f(g)。
如何設(shè)計及進行遷移學(xué)習(xí)是遷移學(xué)習(xí)方法關(guān)注的重點問題。一直以來遷移學(xué)習(xí)作為小樣本SAR圖像目標(biāo)識別方法得到了廣泛應(yīng)用。文獻[16]先采用MSTAR數(shù)據(jù)集中3類目標(biāo)數(shù)據(jù)集作為源域數(shù)據(jù)集進行訓(xùn)練,針對3類目標(biāo)識別任務(wù)有監(jiān)督地訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),得到預(yù)訓(xùn)練模型;然后,通過構(gòu)建與預(yù)訓(xùn)練模型相同的卷積神經(jīng)網(wǎng)絡(luò),將10類MSTAR數(shù)據(jù)集作為目標(biāo)域的目標(biāo)任務(wù),將預(yù)訓(xùn)練模型作為目標(biāo)域的初始參數(shù),對10類目標(biāo)進行微調(diào)訓(xùn)練;實驗表明該方法對10類目標(biāo)的識別精度達到99.13%。文獻[17]通過遷移VGG16和ResNet網(wǎng)絡(luò)進行微調(diào)訓(xùn)練形成對比實驗,驗證了遷移學(xué)習(xí)在SAR圖像目標(biāo)識別中的應(yīng)用,提高了MSTAR數(shù)據(jù)集目標(biāo)識別的準(zhǔn)確率。文獻[18]通過電磁仿真出大量SAR圖像數(shù)據(jù),通過卷積神經(jīng)網(wǎng)絡(luò)模型進行預(yù)訓(xùn)練,通過預(yù)訓(xùn)練權(quán)重文件作為初始參數(shù),遷移到實測SAR圖像數(shù)據(jù)進行識別,通過MSTAR數(shù)據(jù)集驗證方法的有效性,識別準(zhǔn)確率提高到99.78%。
針對SAR圖像目標(biāo)識別的遷移學(xué)習(xí)問題,文獻[19]從3個方面討論了SAR圖像目標(biāo)識別的遷移問題:1) 哪些網(wǎng)絡(luò)和源任務(wù)更好地遷移到SAR目標(biāo);2) 哪個中間層被遷移的特征更通用于SAR目標(biāo);3) 如何有效地在SAR圖像識別任務(wù)中進行遷移學(xué)習(xí)。得出的結(jié)論如下。1) 即使小數(shù)據(jù)集在訓(xùn)練更深、更寬的網(wǎng)絡(luò)時很難找到最優(yōu)解,但所學(xué)習(xí)的特征對相關(guān)任務(wù)更通用,遷移特征就能夠幫助相關(guān)目標(biāo)任務(wù)找到更好的解決方案。2) 特征的可遷移性受遷移網(wǎng)絡(luò)的通用性和源任務(wù)與目標(biāo)任務(wù)之間的距離的影響,即網(wǎng)絡(luò)和源任務(wù)都對遷移到SAR目標(biāo)識別任務(wù)有影響;光學(xué)數(shù)據(jù)集也有利于SAR圖像目標(biāo)的分類任務(wù),但不能直接遷移,需要以一種方式傳遞。3) 從不同層的深卷積網(wǎng)絡(luò)中提取的特征可以分為通用特征和特定特征兩類。具有通用性的特征意味著它們能夠表示其他數(shù)據(jù)集,而具有特異性的特征與所選擇的數(shù)據(jù)或任務(wù)密切相關(guān)。4) 在遷移學(xué)習(xí)中,為了減少SAR圖像目標(biāo)域與SAR圖像源域之間的距離,采用增加域自適應(yīng)學(xué)習(xí)的方法,從而提高SAR圖像目標(biāo)識別的遷移學(xué)習(xí)性能。文獻[19]通過在MSTAR和OpenSARShip數(shù)據(jù)集上進行實驗,驗證了SAR圖像目標(biāo)識別以上遷移學(xué)習(xí)的結(jié)論,同時采用域自適應(yīng)學(xué)習(xí)提高了SAR圖像目標(biāo)識別的性能。
度量學(xué)習(xí)是人臉識別中常用的傳統(tǒng)機器學(xué)習(xí)方法,它可根據(jù)不同的任務(wù)自主學(xué)習(xí)出針對某個特定任務(wù)的度量距離函數(shù),通過計算兩張圖像之間的相似度,使得輸入圖像歸入相似度大的圖像類型。度量學(xué)習(xí)是目前解決小樣本分類問題的方法,一般通過孿生神經(jīng)網(wǎng)絡(luò)實現(xiàn)度量學(xué)習(xí)。孿生神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)的網(wǎng)絡(luò)模型相比主要是判斷輸入樣本的相似度。孿生神經(jīng)網(wǎng)絡(luò)不需要知道每個標(biāo)簽的類別,通過數(shù)據(jù)學(xué)習(xí)得到一個相似性的度量,并對比新樣本的相似程度。以SAR圖像目標(biāo)為例[20]:首先,將兩個SAR圖像目標(biāo)樣本X1,X2作為孿生網(wǎng)絡(luò)的輸入,通過孿生網(wǎng)絡(luò)的特征提取得到低維特征GW(X1)與GW(X2);然后,通過某種距離度量方式計算兩個輸入向量的距離,進而判斷兩個輸入SAR圖像目標(biāo)的相似度EW。具體算法如圖2所示。度量學(xué)習(xí)已應(yīng)用在SAR圖像目標(biāo)識別中。
圖2 孿生卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of twin convolution neural network
文獻[21]針對SAR圖像目標(biāo)識別小樣本的問題,首先,采用正負(fù)樣本對策略對樣本數(shù)量進行擴充;其次,設(shè)計了一種基于度量學(xué)習(xí)和深度學(xué)習(xí)的孿生卷積神經(jīng)網(wǎng)絡(luò),來計算樣本之間的相似概率;最后,采用加權(quán)投票機制對孿生卷積神經(jīng)網(wǎng)絡(luò)進行具體類型的目標(biāo)識別。實驗表明,該方法在MSTAR和OpenSARShip數(shù)據(jù)集上取得了較好的識別效果。文獻[22]采用孿生卷積神經(jīng)網(wǎng)絡(luò)的方法進行小樣本SAR目標(biāo)識別,首先,該方法通過孿生卷積神經(jīng)網(wǎng)絡(luò)進行特征提取;其次,在單支網(wǎng)絡(luò)提取到特征后增加分類網(wǎng)絡(luò)訓(xùn)練;最后,通過構(gòu)造分類器實現(xiàn)具體類型的目標(biāo)識別。該方法在MSTAR測試數(shù)據(jù)集上對10類目標(biāo)進行實驗驗證,結(jié)果表明,該方法可以減小同類目標(biāo)之間的相似度,增加不同類之間的類間距,從而提升小樣本條件下的分類器性能。
現(xiàn)實世界的數(shù)據(jù)通常遵循長尾分布,也就是每類樣本的數(shù)量通常是不同的。數(shù)據(jù)長尾分布廣泛存在于深度學(xué)習(xí)目標(biāo)識別任務(wù)中,所謂的數(shù)據(jù)長尾分布是指訓(xùn)練樣本數(shù)據(jù)中的類別分布不平衡。在訓(xùn)練數(shù)據(jù)中,由于多數(shù)類樣本數(shù)量明顯多于少數(shù)類樣本數(shù)量,在深度學(xué)習(xí)訓(xùn)練過程中少數(shù)類樣本的分類器權(quán)重更容易受到多數(shù)類樣本權(quán)重的壓制,導(dǎo)致訓(xùn)練后的權(quán)重失衡,造成少數(shù)類樣本在識別過程中的錯誤識別。在SAR圖像艦船目標(biāo)識別中,海面各類型艦船數(shù)量各不相同,容易產(chǎn)生數(shù)據(jù)不均衡現(xiàn)象。例如,海面上貨船的數(shù)量相對較多,而航母和領(lǐng)航船的目標(biāo)相對較少,這樣就造成數(shù)據(jù)的不均衡問題。在現(xiàn)有的數(shù)據(jù)集OpenSARShip和FUSAR_Ship1.0中均存在數(shù)據(jù)不均衡問題。
針對數(shù)據(jù)不均衡問題,文獻[23]通過批內(nèi)平衡采樣和模型微調(diào)的方法,實現(xiàn)數(shù)據(jù)不均衡問題下的目標(biāo)識別。首先,將已知的數(shù)據(jù)不均衡的訓(xùn)練集作為源域,采用批內(nèi)平衡采樣的方法對源域目標(biāo)進行重新排列和選取,使得源域目標(biāo)成為平衡的樣本數(shù)據(jù);其次,對源域目標(biāo)數(shù)據(jù)集進行訓(xùn)練,保存樣本均衡的訓(xùn)練權(quán)重;最后,針對未處理的樣本不均衡的目標(biāo)域數(shù)據(jù)集進行模型的訓(xùn)練,對源域權(quán)重網(wǎng)絡(luò)進行微調(diào),最終提高目標(biāo)域的SAR圖像目標(biāo)識別性能。文獻[23]提出的批內(nèi)平衡采樣方法首先將源域目標(biāo)按照類型的標(biāo)簽進行排序,統(tǒng)計源域數(shù)據(jù)集中每類目標(biāo)的樣本數(shù)量Ai(i=1,2,3,…),將源域數(shù)據(jù)集中樣本數(shù)量最多的記為Amax。其次,將源域數(shù)據(jù)集中每類目標(biāo)的訓(xùn)練數(shù)量記為H;從源域數(shù)據(jù)集中將每類樣本目標(biāo)隨機選取出H個樣本作為平衡訓(xùn)練樣本。如果源域數(shù)據(jù)集中的每類樣本的數(shù)量都大于H,將得到的平衡訓(xùn)練樣本隨機打亂對模型進行訓(xùn)練;如果源域數(shù)據(jù)集中某類樣本的數(shù)量小于H,則需要計算該類樣本具有的樣本量P與選取的樣本量H之間的差值Δ=P-H,再將選取的其他源域數(shù)據(jù)集中隨機剔除Δ個該類樣本。然后,通過隨機選取的源域數(shù)據(jù)集中的樣本構(gòu)成數(shù)據(jù)均衡的訓(xùn)練樣本,將均衡的訓(xùn)練樣本隨機打亂,進行模型的預(yù)訓(xùn)練。最后,將訓(xùn)練的權(quán)重文件遷移學(xué)習(xí)到數(shù)據(jù)不均衡的未知的目標(biāo)域上進行模型的訓(xùn)練和微調(diào)。實驗表明,該方法在數(shù)據(jù)不均衡條件下的識別效果得到了顯著提升,優(yōu)于直接應(yīng)用傳統(tǒng)方法進行訓(xùn)練的識別結(jié)果。
隨著深度學(xué)習(xí)技術(shù)在SAR圖像艦船目標(biāo)識別中的應(yīng)用,SAR圖像艦船目標(biāo)識別的精度得到了顯著提升。本文分別從數(shù)據(jù)集、多角度識別、小樣本識別和數(shù)據(jù)不均衡條件下SAR圖像目標(biāo)識別等方面進行了闡述,盡管現(xiàn)有的方法使得SAR圖像目標(biāo)識別精度得到提升,但是仍然存在大量問題需要解決。
首先,目前深度學(xué)習(xí)目標(biāo)檢測與目標(biāo)識別算法大都基于光學(xué)圖像開展研究,許多算法直接對光學(xué)算法進行遷移,并未考慮SAR圖像的成像機理,因此,在未來的研究中將開展目標(biāo)檢測和識別算法與SAR圖像的目標(biāo)散射特性相結(jié)合的算法研究。
其次,SAR圖像目標(biāo)容易受到自身變化、周圍環(huán)境和成像因素的影響,目前深度學(xué)習(xí)SAR圖像目標(biāo)識別算法并未考慮SAR圖像目標(biāo)的變體、不同的成像參數(shù),在實際的應(yīng)用場景中并不能表現(xiàn)出良好的魯棒性,因此,如何提高實際場景SAR圖像目標(biāo)識別的魯棒性值得進一步研究。
最后,SAR圖像數(shù)據(jù)不均衡問題在基于深度學(xué)習(xí)的SAR圖像目標(biāo)識別中依舊存在,近年來的研究雖然在這個方面取得了一定的成果,然而,針對SAR圖像少數(shù)類目標(biāo)的識別精度依舊不高,如何提高SAR圖像數(shù)據(jù)不均衡條件下的檢測精度值得進一步研究。