郭 倩 王海鵬 徐 豐
(復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室 上海 200433)
合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)是一種主動(dòng)式微波成像傳感器,它可以穿透云、雨、雪和煙霧,具有全天時(shí)、全天候的成像觀測(cè)能力。SAR自20世紀(jì)50年代誕生、發(fā)展至今,由于獨(dú)特的成像機(jī)制,其在軍事和民用領(lǐng)域都得到了廣泛的應(yīng)用[1–3]。在軍事領(lǐng)域,SAR可用于全天候全球戰(zhàn)略偵察,全天候典型目標(biāo)探測(cè)與識(shí)別及隱形目標(biāo)散射特性的靜態(tài)與動(dòng)態(tài)測(cè)量等;在民用領(lǐng)域,SAR在礦藏資源探測(cè),災(zāi)情探測(cè)與防治、地形探測(cè)與繪制及海洋,農(nóng)業(yè),林業(yè)等方面也發(fā)揮著巨大的作用[4]。由于SAR的獨(dú)特性能,SAR圖像中典型目標(biāo)解譯技術(shù)受到了各國(guó)的重視,不斷發(fā)展進(jìn)步。飛機(jī)作為一類重要的目標(biāo),在民用領(lǐng)域,飛機(jī)檢測(cè)有助于機(jī)場(chǎng)的有效管理;在軍事領(lǐng)域,獲取飛機(jī)的數(shù)量等信息具有重要價(jià)值[5–7]。因此,在高分辨率SAR圖像中對(duì)其進(jìn)行精確檢測(cè)識(shí)別具有重要意義。
傳統(tǒng)的SAR圖像目標(biāo)檢測(cè)方法主要基于特征和分類器。一般來(lái)講,目標(biāo)自動(dòng)識(shí)別包含由檢測(cè)、鑒別和識(shí)別3個(gè)階段[2],首先通過(guò)檢測(cè)算法將包含目標(biāo)和虛警的可疑目標(biāo)檢測(cè)出來(lái),最常見(jiàn)的傳統(tǒng)目標(biāo)檢測(cè)算法為基于雜波統(tǒng)計(jì)與閾值提取的恒虛警率算法(Constant False Alarm Rate,CFAR)[8],在此基礎(chǔ)上,學(xué)者從統(tǒng)計(jì)特征,非均勻背景等方面進(jìn)行了深入研究,提出多種改進(jìn)的CFAR算法,如CA-CFAR(Cell-Averaging Constant False Alarm Rate)[9],SOCA-CFAR(the Smallest Of Cell-Averaging Constant False Alarm Rate)[10],GOCA-CFAR(the Greatest Of Cell-Averaging Constant False Alarm Rate)[11],OS-CFAR (Ordered Statistic Constant False Alarm Rate)[12]及VI-CFAR(Variability Index Constant False Alarm Rate)[13]等。在鑒別階段可進(jìn)一步通過(guò)其它特征如尺寸、形狀、語(yǔ)義等信息來(lái)區(qū)分目標(biāo)和虛警。在SAR圖像中常用的特征包括目標(biāo)的輪廓、尺寸、紋理、散射中心等[14–23]。在最后的識(shí)別階段常用的方法包括:模板匹配、基于模型的方法和機(jī)器學(xué)習(xí)[24–29]。模板匹配通過(guò)計(jì)算目標(biāo)與模板間相似度實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別,結(jié)果依賴于模板的尺寸,方向與圖像元素等特征。隨模板數(shù)據(jù)庫(kù)的不斷完善,目標(biāo)識(shí)別精度也會(huì)相對(duì)提高?;谀P偷淖R(shí)別方法則需要通過(guò)多次迭代獲取高精度模擬圖像,對(duì)電磁計(jì)算的速度以及三維模型的精確度有較高要求。針對(duì)模板匹配與基于模型的識(shí)別方法中運(yùn)算量大、效率低的問(wèn)題,許多研究者開始研究機(jī)器學(xué)習(xí)算法,如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、自適應(yīng)增強(qiáng)等,來(lái)進(jìn)行SAR目標(biāo)自動(dòng)解譯。
近年來(lái),隨著深度學(xué)習(xí)理論和方法的不斷發(fā)展和推廣應(yīng)用,其在多個(gè)領(lǐng)域都取得了較好的效果。目標(biāo)檢測(cè)作為圖像解譯中重要一環(huán),是機(jī)器學(xué)習(xí)的核心問(wèn)題之一。深度特征具有很強(qiáng)的描述能力[30],在檢測(cè)和分類方面都表現(xiàn)出良好的效果,自此以后在目標(biāo)檢測(cè)領(lǐng)域涌現(xiàn)出了很多基于深度學(xué)習(xí)的方法,也取得了很大的研究進(jìn)展[31]?,F(xiàn)有深度學(xué)習(xí)目標(biāo)檢測(cè)算法主要分為兩階段檢測(cè)與單階段檢測(cè)兩大類,其具體發(fā)展過(guò)程如圖1所示。
圖1 深度學(xué)習(xí)目標(biāo)檢測(cè)算法發(fā)展Fig.1 Development of deep learning-based target detection algorithms
兩階段算法首先生成候選框作為樣本,對(duì)候選區(qū)域應(yīng)用圖像分類算法;而單階段檢測(cè)算法直接對(duì)預(yù)測(cè)的目標(biāo)物體進(jìn)行回歸。在兩階段檢測(cè)算法中:Girshick等人[32]提出了R-CNN(Region-Convolution Neural Network),它采用生成候選區(qū)域、用CNN提取特征、圖像分類、非極大值抑制4個(gè)步驟進(jìn)行目標(biāo)檢測(cè),但是R-CNN的候選框存在重復(fù)計(jì)算、各步驟串行操作等問(wèn)題,導(dǎo)致運(yùn)行效率很低。He等人[33]針對(duì)這一問(wèn)題,引入了空間金字塔池化層,提出了SPP-net(Spatial Pyramid Pooling-net),大幅縮短了訓(xùn)練時(shí)間。Girshick[34]在此基礎(chǔ)上提出了Fast R-CNN,將不同大小候選框的卷積特征圖采樣成固定大小,只使用一個(gè)尺度進(jìn)行網(wǎng)格劃分和池化,進(jìn)一步提高計(jì)算速度。盡管Fast R-CNN成功地集成了R-CNN與SPP-net的優(yōu)點(diǎn),但其仍存在計(jì)算量大的問(wèn)題。Ren等人[35]在Fast R-CNN基礎(chǔ)上提出Faster R-CNN,在主干網(wǎng)絡(luò)中增加了RPN(Region Proposal Network)網(wǎng)絡(luò),通過(guò)一定規(guī)則設(shè)置不同尺度的錨點(diǎn)在RPN的卷積特征層提取候選框,實(shí)現(xiàn)了網(wǎng)絡(luò)的端到端訓(xùn)練。為了增強(qiáng)網(wǎng)絡(luò)的平移敏感性,提升目標(biāo)定位精度,Dai等人[36]將感興趣區(qū)域的計(jì)算共享,提出了R-FCN(Region-based Fully Convolutional Networks)結(jié)構(gòu),并進(jìn)一步提出了特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN),利用多尺度特征與自頂向下結(jié)構(gòu)做目標(biāo)檢測(cè),有效提升了網(wǎng)絡(luò)對(duì)于小目標(biāo)的檢測(cè)性能[37]。2017年He等人[38]又提出了Mask R-CNN,通過(guò)雙線性差值填補(bǔ)非整數(shù)位置的像素,使得下游特征圖向上游映射時(shí)沒(méi)有位置誤差,不僅提升了目標(biāo)檢測(cè)效果,還使得算法能滿足語(yǔ)義分割任務(wù)的精度要求。區(qū)別于R-CNN系列為代表的兩階段檢測(cè)算法,Redmon等人[39,40]提出了一種快速有效的單階段目標(biāo)檢測(cè)算法,被稱為YOLO(You Only Look Once),該算法將檢測(cè)問(wèn)題簡(jiǎn)化為分類回歸。在此基礎(chǔ)上,Liu等人[41]結(jié)合了Faster R-CNN的錨點(diǎn)機(jī)制與YOLO的回歸思想,提出了SSD(Single Shot multibox Detector)目標(biāo)檢測(cè)算法。SSD采用網(wǎng)格劃分的思想,對(duì)不同卷積層的特征圖像進(jìn)行滑窗掃描,達(dá)到了和兩階段方法相當(dāng)?shù)木?,同時(shí)又保持了較快的運(yùn)行速度。在此基礎(chǔ)上,引入特征融合與多尺度信息,研究者相繼提出了DSSD(Deconvolutional Single Shot Detector)[42]與FSSD(Feature fusion Single Shot Detector)[43]等算法。
隨著合成孔徑雷達(dá)成像及深度學(xué)習(xí)等技術(shù)的發(fā)展,人們獲取到了更多高分辨率的SAR圖像,從而使利用深度學(xué)習(xí)進(jìn)行SAR圖像處理成為可能。最近幾年,國(guó)內(nèi)外學(xué)者也在此領(lǐng)域做了大量工作[44–57]??v觀SAR中典型目標(biāo)解譯技術(shù)發(fā)展,從早期的基于雜波建模與閾值提取,模板匹配及基于模型的特征提取技術(shù)到現(xiàn)階段的基于深度學(xué)習(xí)特征提取技術(shù),本質(zhì)上講均為通過(guò)對(duì)典型目標(biāo)的特征進(jìn)行理解,從而實(shí)現(xiàn)對(duì)目標(biāo)的高精度解譯。而實(shí)際上SAR圖像中既蘊(yùn)含了目標(biāo)的散射特征,也包含了場(chǎng)景與目標(biāo)的結(jié)構(gòu),分布等空間線索,這些有效信息在目前的兩大主流解譯技術(shù)中尚未得到充分地挖掘與有機(jī)結(jié)合。本團(tuán)隊(duì)提出了一種新的SAR圖像中飛機(jī)目標(biāo)檢測(cè)技術(shù),通過(guò)對(duì)目標(biāo)散射信息的建模和圖像視覺(jué)語(yǔ)義的深度挖掘,有效增強(qiáng)待解譯目標(biāo)的散射特征信息,提升算法的精度與魯棒性。本文首先對(duì)SAR目標(biāo)自動(dòng)識(shí)別中關(guān)鍵技術(shù)進(jìn)行了論述與總結(jié),再以飛機(jī)目標(biāo)為例,深入分析了飛機(jī)結(jié)構(gòu)特征、SAR圖像中飛機(jī)目標(biāo)散射機(jī)理及飛機(jī)目標(biāo)檢測(cè)及識(shí)別目前面臨的挑戰(zhàn),介紹了當(dāng)前基于傳統(tǒng)方法提取與基于深度學(xué)習(xí)的兩大主流方向的基本原理和研究進(jìn)展。在此基礎(chǔ)上,提出了基于散射特征信息增強(qiáng)與特征金字塔網(wǎng)絡(luò)的飛機(jī)目標(biāo)檢測(cè)方法,并給出了初步的技術(shù)途徑,最后對(duì)未來(lái)的發(fā)展進(jìn)行了展望。
SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別算法的研究是一項(xiàng)熱點(diǎn),但由于高分辨率SAR圖像飛機(jī)目標(biāo)影像較少,飛機(jī)檢測(cè)識(shí)別系統(tǒng)相關(guān)研究少有公開。本文將SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別系統(tǒng)的通用流程(如圖2所示)大致分為5個(gè)步驟:圖像預(yù)處理、機(jī)場(chǎng)檢測(cè)、飛機(jī)目標(biāo)檢測(cè)、虛警剔除及飛機(jī)目標(biāo)識(shí)別。
圖2 飛機(jī)目標(biāo)檢測(cè)識(shí)別系統(tǒng)流程Fig.2 Flow of aircraft detection and recognition system
步驟1 圖像預(yù)處理:預(yù)處理包括對(duì)圖像灰度進(jìn)行拉伸、直方圖調(diào)整、斑點(diǎn)噪聲濾除、目標(biāo)對(duì)比度增強(qiáng)等。通過(guò)對(duì)圖像進(jìn)行預(yù)處理,增強(qiáng)目標(biāo)、抑制背景、消除斑噪對(duì)檢測(cè)過(guò)程的影響,提高機(jī)場(chǎng)目標(biāo)、飛機(jī)目標(biāo)的檢測(cè)正確率;
步驟2 機(jī)場(chǎng)檢測(cè):由于飛機(jī)目標(biāo)只分布在機(jī)場(chǎng)區(qū)域,對(duì)其余區(qū)域不做任何處理,因此要先進(jìn)行機(jī)場(chǎng)檢測(cè),剔除圖像中非機(jī)場(chǎng)區(qū)域。這樣做既可以減小待處理圖像的大小,又可以去除背景區(qū)域可能產(chǎn)生的虛警目標(biāo),從而提升檢測(cè)速度與檢測(cè)精度;
步驟3 飛機(jī)目標(biāo)檢測(cè):這一步主要是利用各種檢測(cè)算法將可能的飛機(jī)目標(biāo)從機(jī)場(chǎng)區(qū)域進(jìn)行提取,是整個(gè)流程的核心步驟。一般情況下,只針對(duì)飛機(jī)目標(biāo)本身進(jìn)行檢測(cè),當(dāng)飛機(jī)部件信息清晰時(shí),也可結(jié)合子部件檢測(cè),進(jìn)一步提高檢測(cè)的準(zhǔn)確性;
步驟4 虛警剔除:結(jié)合飛機(jī)的幾何特征和散射特征等先驗(yàn)知識(shí)對(duì)疑似目標(biāo)進(jìn)行鑒別,去除其中的虛警目標(biāo);
步驟5 飛機(jī)目標(biāo)識(shí)別:在高分辨率SAR圖像中,基于檢測(cè)及虛警剔除結(jié)果,利用目標(biāo)識(shí)別算法確定飛機(jī)型號(hào),這一步也是流程中的核心步驟。通過(guò)對(duì)飛機(jī)目標(biāo)典型特征的提取,可有效提高目標(biāo)識(shí)別算法的魯棒性。
SAR是一種主動(dòng)式微波傳感器,它的成像方式形成了圖像特有的特征,目標(biāo)散射特征信息是SAR圖像理解與應(yīng)用的基礎(chǔ)信息[58],如圖3所示,這些特征包括目標(biāo)幾何特征、灰度統(tǒng)計(jì)特征、紋理特征、極化特征[59]與噪聲特征等。
自從發(fā)明飛機(jī)以來(lái),飛機(jī)的結(jié)構(gòu)形式雖然在不斷改進(jìn),飛機(jī)類型不斷增多,但到目前為止,除了極少數(shù)特殊形式的飛機(jī)之外,大多數(shù)固定翼飛機(jī)基本構(gòu)造大體相同,主要可以分為機(jī)頭、機(jī)身、機(jī)翼、尾翼和動(dòng)力裝置5大部分(本文不考慮旋翼飛機(jī))。由于合成孔徑雷達(dá)對(duì)金屬材料具有良好的探測(cè)性能,飛機(jī)在SAR圖像中含有豐富的散射信息。如圖4所示,本文以高分3號(hào)衛(wèi)星聚束式衛(wèi)星數(shù)據(jù)中飛機(jī)目標(biāo)(圖像分辨率為1 m×1 m)為例,討論了各部件的主要散射機(jī)理(如表1所示)。
在高分辨率SAR圖像中,由于飛機(jī)目標(biāo)子部件遠(yuǎn)大于分辨率單元,因此SAR圖像中飛機(jī)目標(biāo)的散射信息主要由目標(biāo)部件散射信息組成。基于飛機(jī)目標(biāo)各部件的散射機(jī)制,單極化SAR圖像中用于飛機(jī)目標(biāo)檢測(cè)識(shí)別散射信息主要包括目標(biāo)幾何特征、灰度統(tǒng)計(jì)特征與紋理特征3大類:
(1) 目標(biāo)幾何特征:SAR圖像中飛機(jī)目標(biāo)的幾何形狀是它們特有的標(biāo)志,可用幾何特征對(duì)其進(jìn)行檢測(cè)識(shí)別。比如,SAR圖像中飛機(jī)目標(biāo)表現(xiàn)為離散的強(qiáng)散射點(diǎn)的形式,具有明顯的點(diǎn)目標(biāo)特征,通過(guò)對(duì)點(diǎn)目標(biāo)的檢測(cè)與判別,可對(duì)飛機(jī)目標(biāo)進(jìn)行粗略的分類,識(shí)別和定位;此外,由于SAR圖像中飛機(jī)目標(biāo)(子部件)與背景具有較大的后向散射系數(shù)差別,而在灰度突變處會(huì)形成圖像的邊界點(diǎn),因此SAR圖像中飛機(jī)目標(biāo)容易形成邊界線性目標(biāo),具有較強(qiáng)的邊緣信息。
圖3 SAR圖像散射特征Fig.3 Scattering features of SAR imagery
圖4 飛機(jī)主要部件及散射機(jī)制Fig.4 Scattering mechanism of aircraft each component
表1 飛機(jī)各部件散射機(jī)理Tab.1 Scattering mechanism of each component
(2) 灰度統(tǒng)計(jì)特征:SAR圖像中灰度的變化取決于目標(biāo)物的后向散射截面,在成像條件相同的情況下,目標(biāo)物的后向散射截面取決于目標(biāo)的結(jié)構(gòu)與材質(zhì)等信息。因?yàn)镾AR圖像中飛機(jī)目標(biāo)與其周圍背景具有明顯的結(jié)構(gòu)與材質(zhì)上的差異,因此其灰度振幅與統(tǒng)計(jì)特征都具有較大差異,可以通過(guò)對(duì)背景雜波的建模以及目標(biāo)灰度分布的統(tǒng)計(jì)建模實(shí)現(xiàn)對(duì)SAR圖像中飛機(jī)目標(biāo)的提取。
(3) 紋理特征:紋理是指圖像某一個(gè)區(qū)域的粗糙度或一致性[58],其取決于灰度的相對(duì)變化,而不是灰度的絕對(duì)值。一個(gè)圖像的紋理隨著雷達(dá)系統(tǒng)的波長(zhǎng)、分辨率和入射角而變化,也會(huì)隨著目標(biāo)的組成成分和它的背景特征的排列狀態(tài)而變化。不同類型的飛機(jī)目標(biāo)之間的差異,往往不在于灰度大小,而在于它們的紋理差別。因此如何定義和計(jì)算目標(biāo)局部紋理特征,對(duì)于虛警目標(biāo)的鑒別以及不同型號(hào)飛機(jī)目標(biāo)的分類是十分重要的。
與光學(xué)圖像不同,SAR成像波長(zhǎng)更長(zhǎng),成像機(jī)制更復(fù)雜,成像結(jié)果也更難直觀解讀。最突出的是,目標(biāo)在SAR圖像中是不連續(xù)的,也即是由多個(gè)離散的不規(guī)則散射中心亮斑組成,而這些散射中心之間卻隱含了目標(biāo)識(shí)別的關(guān)鍵語(yǔ)義信息,因此如何將這些離散的亮斑組合成一個(gè)整體對(duì)目標(biāo)檢測(cè)識(shí)別十分關(guān)鍵。如圖5所示為高分3號(hào)衛(wèi)星聚束式SAR圖像中飛機(jī)目標(biāo)示例(圖像分辨率為1 m×1 m,飛機(jī)翼展范圍為30~40 m,機(jī)長(zhǎng)范圍為30~45 m)。
當(dāng)對(duì)SAR圖像中飛機(jī)目標(biāo)進(jìn)行檢測(cè)識(shí)別時(shí),因陸地雜波分布無(wú)規(guī)律,大量背景高亮散射點(diǎn)的存在對(duì)目標(biāo)檢測(cè)造成很大干擾,故僅基于雜波建模與亮度信息提取目標(biāo)的CFAR算法并不適用。除此之外,由于SAR圖像復(fù)雜的成像機(jī)制與散射條件的多變性,飛機(jī)目標(biāo)成像呈特征多樣性,手動(dòng)設(shè)計(jì)的特征難以適應(yīng)于多種情況。本文總結(jié)飛機(jī)檢測(cè)識(shí)別所面臨的挑戰(zhàn)主要體現(xiàn)在以下3個(gè)方面:(1) 離散性,由于飛機(jī)表面大部分平滑,飛機(jī)在高分辨率SAR圖像中呈現(xiàn)為散射點(diǎn)的形態(tài),目標(biāo)飛機(jī)很容易被分成許多小塊,在這種情況下,檢測(cè)完整的目標(biāo)是困難的,該問(wèn)題被稱為離散性;(2) 多變性,由于飛機(jī)結(jié)構(gòu)復(fù)雜,其不同部分具有不同的散射機(jī)理,包括腔體散射、邊緣繞射等,在SAR成像過(guò)程中,隨著入射角和方位角等散射條件的變化,目標(biāo)的散射也發(fā)生著不同程度的變化,導(dǎo)致散射結(jié)果多變,難以確定目標(biāo)型號(hào),該問(wèn)題被稱為多變性。(3) 復(fù)雜背景影響,除飛機(jī)目標(biāo)自身結(jié)構(gòu)所導(dǎo)致的復(fù)雜與多變性影響之外,在高分辨率SAR圖像中,復(fù)雜背景也會(huì)對(duì)SAR圖像中飛機(jī)目標(biāo)精確檢測(cè)識(shí)別造成干擾,大量背景高亮散射點(diǎn)分布在飛機(jī)目標(biāo)周圍,難以準(zhǔn)確建模,與飛機(jī)目標(biāo)部件等會(huì)發(fā)生一定程度的混淆,使得飛機(jī)難以準(zhǔn)確定位與識(shí)別,該問(wèn)題被稱為復(fù)雜背景影響。
圖5 SAR圖像中飛機(jī)目標(biāo)示例Fig.5 Examples of aircraft in SAR imagery
由于SAR圖像中飛機(jī)目標(biāo)成像具有離散性與多變性的特點(diǎn),且容易受背景強(qiáng)散射點(diǎn),如滑行道、儲(chǔ)油庫(kù)等的影響,因此設(shè)計(jì)魯棒的特征提取方法,對(duì)飛機(jī)目標(biāo)精確檢測(cè)識(shí)別具有關(guān)鍵作用。El-Darymli等人[60]將傳統(tǒng)的SAR圖像中目標(biāo)特征提取算法大致分為3類:基于單特征的、基于多特征組合的和面向?qū)<蚁到y(tǒng)的(如圖6所示)。基于單特征的算法采用單一特征在SAR圖像中進(jìn)行檢測(cè)識(shí)別,常用特征信息為圖像灰度信息,該方法是其他兩類方法的基礎(chǔ)?;诙嗵卣鞯姆椒◤妮斎氲腟AR圖像中提取兩個(gè)或多個(gè)特征的融合來(lái)做出決策,除了亮度信息,還可以推斷和融合其他特征。最后,面向系統(tǒng)的方法擴(kuò)展了上述兩個(gè)分類,利用關(guān)于成像的場(chǎng)景、雜波和目標(biāo)的先驗(yàn)知識(shí)來(lái)在SAR圖像中進(jìn)行解譯。隨著算法復(fù)雜性的增加,出現(xiàn)了復(fù)雜度與性能的權(quán)衡,在選擇某種方法時(shí)應(yīng)謹(jǐn)慎,以便平衡此權(quán)衡。
如圖7所示,本文將傳統(tǒng)方法中的飛機(jī)目標(biāo)檢測(cè)識(shí)別方法主要分為基于目標(biāo)結(jié)構(gòu)特征與基于目標(biāo)散射特征兩大類?,F(xiàn)有工作中大多數(shù)基于多特征方法與面向系統(tǒng)類方法,研究者通常采用多種特征信息與先驗(yàn)信息進(jìn)行融合后作出決策。在此基礎(chǔ)上,光學(xué)圖像中部分飛機(jī)目標(biāo)檢測(cè)或識(shí)別算法也具有一定借鑒意義,本文在此一并概括。需要注意的是,由于成像波長(zhǎng)與成像機(jī)理上的本質(zhì)區(qū)別,在傳統(tǒng)解譯方法中,光學(xué)和SAR在圖像處理上有著顯著區(qū)別。因此,對(duì)于飛機(jī)目標(biāo)結(jié)構(gòu)特征,如目標(biāo)輪廓,部件形狀及結(jié)構(gòu)分布等特征,二者方法可以互通;而對(duì)于飛機(jī)目標(biāo)散射特征,如目標(biāo)幾何特征、灰度統(tǒng)計(jì)特征及目標(biāo)紋理特征等,二者則有著巨大差別,難以直接遷移。
圖6 傳統(tǒng)SAR圖像中目標(biāo)特征提取算法分類Fig.6 Classification of traditional methods
目標(biāo)的結(jié)構(gòu)是重要的特征。目標(biāo)準(zhǔn)確的輪廓、部件形狀或結(jié)構(gòu)分布等特征可以為算法提供重要的先驗(yàn)信息,突出目標(biāo)結(jié)構(gòu)或形狀等信息可以提高遙感影像中目標(biāo)解譯的準(zhǔn)確性。在飛機(jī)目標(biāo)檢測(cè)識(shí)別中,常用的結(jié)構(gòu)特征包括:由機(jī)身和翼展構(gòu)成的“Y”型或“T”型骨架,飛機(jī)目標(biāo)部件結(jié)構(gòu)分布,飛機(jī)結(jié)構(gòu)的對(duì)稱性等,除此以外,飛機(jī)目標(biāo)的尺寸,發(fā)動(dòng)機(jī)數(shù)量等信息也可用于飛機(jī)目標(biāo)的提取與鑒別。特別地,在高分辨率圖像中,飛機(jī)目標(biāo)的骨架與輪廓信息都得到了很好的保留,這些顯著的結(jié)構(gòu)特征對(duì)于飛機(jī)目標(biāo)解譯具有重大意義。
高君等人[61]提出了一種基于飛機(jī)目標(biāo)結(jié)構(gòu)特征的SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別方法,首先利用霍夫變換對(duì)飛機(jī)目標(biāo)的骨架進(jìn)行提取,結(jié)合飛機(jī)結(jié)構(gòu)的共線性、對(duì)稱性等特征對(duì)子部件進(jìn)行提取,最后利用飛機(jī)關(guān)鍵尺寸等參數(shù)輔助實(shí)現(xiàn)飛機(jī)目標(biāo)的分類。針對(duì)復(fù)雜背景下雜波的干擾問(wèn)題,林煜東[62]提出了飛機(jī)幾何部件模型及基于幾何部件模型的分級(jí)檢測(cè)算法,首先根據(jù)目標(biāo)特有幾何結(jié)構(gòu)建立幾何原子庫(kù),根據(jù)權(quán)重大小構(gòu)建有序鏈?zhǔn)浇Y(jié)構(gòu),在此基礎(chǔ)上設(shè)計(jì)了分級(jí)檢測(cè)算法。
圖7 傳統(tǒng)飛機(jī)目標(biāo)檢測(cè)識(shí)別方法Fig.7 Traditional aircraft detection and recognition methods
(1) 基于目標(biāo)幾何特征
與自然或光學(xué)圖像中的目標(biāo)不同,由于合成孔徑雷達(dá)特殊的成像機(jī)制,目標(biāo)主要包含多次反射,邊緣繞射等幾何特征以及散射中心特征,導(dǎo)致 SAR圖像中的目標(biāo)通常由一系列強(qiáng)散射點(diǎn)組成。因此,利用諸如目標(biāo)散射點(diǎn)或邊緣密度等形狀特征用于SAR圖像飛機(jī)目標(biāo)特征提取是一條重要的技術(shù)路線。
Chen等人[63]對(duì)高分辨率TerraSAR-X圖像中民用飛機(jī)散射特征進(jìn)行了分析,在此基礎(chǔ)上,利用Harris-Laplace角點(diǎn)檢測(cè)器提取強(qiáng)散射點(diǎn)并提出利用凸點(diǎn)矢量對(duì)其進(jìn)行描述,實(shí)現(xiàn)對(duì)飛機(jī)目標(biāo)散射特征地提取與描述??紤]到飛機(jī)目標(biāo)邊緣是其重要的形狀信息,郭倩等人[64]采用基于Canny算子的邊緣檢測(cè)算法對(duì)飛機(jī)目標(biāo)候選切片進(jìn)行提??;Hu等人[65]提出了一種基于像素局部窗口邊緣分布的密度與均勻性的分割方法,對(duì)于飛機(jī)等人造目標(biāo)的檢測(cè)具有較高的有效性和準(zhǔn)確性。
(2) 基于灰度統(tǒng)計(jì)特征
基于統(tǒng)計(jì)信息的方法一般先對(duì)已知真值的實(shí)測(cè)數(shù)據(jù)提取特征,再把這些特征作為樣本建立數(shù)據(jù)庫(kù)或迭代模型,在此基礎(chǔ)上實(shí)現(xiàn)對(duì)未知目標(biāo)的鑒別?;诮y(tǒng)計(jì)信息的方法本質(zhì)上仍是設(shè)計(jì)合適的特征,利用特征的魯棒性和區(qū)分性提升目標(biāo)識(shí)別的精度。
考慮到對(duì)于真實(shí)SAR圖像,難以選取合適的雜波統(tǒng)計(jì)分布模型的問(wèn)題,Li等人[66]提出了一種基于雙域稀疏重構(gòu)顯著性的SAR圖像中目標(biāo)檢測(cè)算法,實(shí)驗(yàn)結(jié)果表明該算法具有更好的魯棒性。Dou等人[67]使用高斯混合模型(Gaussian Mixture Models,GMM)對(duì)飛機(jī)目標(biāo)候選切片和模板切片進(jìn)行建模,將其視為結(jié)構(gòu)特征,在識(shí)別階段,提出了一種新的基于K-L(Kullback-Leibler)散度的GMM模型相似度度量算法進(jìn)行分類。Fu等人[68]提出一種基于散射結(jié)構(gòu)特征的模板匹配飛機(jī)識(shí)別方法用于提高SAR圖像的識(shí)別精度和識(shí)別效率:首先通過(guò)高斯混合模型對(duì)飛機(jī)目標(biāo)散射結(jié)構(gòu)特征進(jìn)行建模,在識(shí)別階段,通過(guò)提出的樣本決策優(yōu)化算法實(shí)現(xiàn)模板匹配。He等人[69]提出了一種基于混合統(tǒng)計(jì)分布的多分量模型,同時(shí)考慮目標(biāo)結(jié)構(gòu)信息與統(tǒng)計(jì)分布,利用混合統(tǒng)計(jì)分布對(duì)目標(biāo)與背景進(jìn)行區(qū)分,實(shí)現(xiàn)SAR圖像中飛機(jī)目標(biāo)的檢測(cè)。
(3) 基于目標(biāo)紋理特征
SAR圖像中飛機(jī)目標(biāo)分類常用的紋理特征包括方向梯度分布以及視覺(jué)顯著性等特征。視覺(jué)顯著性是一種顯著的感知特性,其是指對(duì)于真實(shí)世界中的場(chǎng)景,人會(huì)自動(dòng)識(shí)別出感興趣的區(qū)域,并對(duì)感興趣的區(qū)域進(jìn)行處理而忽略不感興趣的區(qū)域?!白缘紫蛏稀弊鳛橐曈X(jué)注意機(jī)制的策略之一,是指由圖像本質(zhì)特征引起的視覺(jué)注意,是由顏色、亮度、方向等一系列底層感知數(shù)據(jù)驅(qū)動(dòng)的。由圖像底層數(shù)據(jù)可知,圖像不同區(qū)域內(nèi)具有很強(qiáng)的特征差異性,通過(guò)判斷目標(biāo)區(qū)域與其周圍像素的差異計(jì)算圖像區(qū)域的顯著性。基于顯著性的目標(biāo)檢測(cè)識(shí)別算法首先通過(guò)亮度等信息提取圖像的顯著圖,然后再通過(guò)顯著圖邊緣信息、梯度方向等信息對(duì)目標(biāo)進(jìn)行分割與鑒別。
Chen等人[63]提出了含兩個(gè)松弛變量的模板匹配方法,對(duì)飛機(jī)目標(biāo)的顯著特征向量進(jìn)行匹配,具有一定范圍內(nèi)平移和旋轉(zhuǎn)不變性,提升了算法的魯棒性,該算法對(duì)于TerraSAR-X圖像中波音747類飛機(jī)目標(biāo)的識(shí)別率達(dá)到80%。考慮到目標(biāo)的散射結(jié)構(gòu)特征對(duì)于合成孔徑雷達(dá)圖像分析非常重要,Dou等人[67]提出了一種結(jié)合梯度顯著圖的強(qiáng)度和散射結(jié)構(gòu)特征的SAR圖像高分辨率機(jī)場(chǎng)區(qū)域飛機(jī)識(shí)別算法,該算法先利用基于閾值分割與雜波建模的CFAR來(lái)分割目標(biāo)圖像,在此基礎(chǔ)上,提出了一種基于方向局部梯度圖的有效目標(biāo)定位方法以檢測(cè)飛機(jī)目標(biāo),其在3.0 m分辨率的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),識(shí)別結(jié)果證明了該方法的準(zhǔn)確性。Tan等人[70]基于圖像顯著圖,提出了一種基于方向局部梯度分布的梯度紋理顯著性映射方法,實(shí)現(xiàn)SAR圖像中飛機(jī)目標(biāo)的檢測(cè)。該方法通過(guò)局部窗口中的局部梯度點(diǎn)密度計(jì)算像素屬于目標(biāo)的概率,在相鄰像素之間施加交互約束,將目標(biāo)的明暗像素連接起來(lái),實(shí)現(xiàn)完整飛機(jī)目標(biāo)的提取與組合。
隨著人工智能技術(shù)的不斷發(fā)展,深度學(xué)習(xí)在圖像處理領(lǐng)域展示了強(qiáng)大的特征提取及學(xué)習(xí)能力,它將以往需要人工設(shè)計(jì)的特征交給復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)便可以獲得一個(gè)較好的結(jié)果。深度學(xué)習(xí)在SAR圖像處理領(lǐng)域的應(yīng)用已成為新的研究熱點(diǎn)。本文以算法是否利用目標(biāo)的散射特征進(jìn)行區(qū)分,將現(xiàn)有基于深度學(xué)習(xí)方法中的飛機(jī)目標(biāo)檢測(cè)識(shí)別方法分為直接應(yīng)用深度學(xué)習(xí)和基于目標(biāo)散射特征與深度學(xué)習(xí)結(jié)合兩類。
本文將現(xiàn)有深度學(xué)習(xí)研究方法中典型網(wǎng)絡(luò)主要分為3大類:卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)以及區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Region Convolutional Neural Network,RCNN)。在卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用方面,王思雨等人[71]提出了基于數(shù)據(jù)增強(qiáng)與卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像中飛機(jī)目標(biāo)檢測(cè)算法,首先通過(guò)滑動(dòng)窗選取候選切片,再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選切片進(jìn)行鑒別。在深度置信網(wǎng)絡(luò)應(yīng)用方面,Dou等人[72]提出了一種利用形狀先驗(yàn)來(lái)精確提取輪廓形狀特征飛機(jī)目標(biāo)重建方法,該方法分為兩個(gè)階段:在深度形狀先驗(yàn)提取階段,使用生成式深度學(xué)習(xí)建模方法獲得目標(biāo)形狀先驗(yàn);在重建階段,提出了一種結(jié)合優(yōu)化算法的從粗到精的目標(biāo)姿態(tài)估計(jì)方法,為目標(biāo)識(shí)別提供有效的先驗(yàn)信息。在區(qū)域卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用方面,He等人[73]為了探索目標(biāo)與部件間的結(jié)構(gòu)關(guān)系,從不同分辨率描述目標(biāo),并搭建了整體目標(biāo)與部件目標(biāo)組成的多尺度檢測(cè)器實(shí)現(xiàn)對(duì)目標(biāo)與部件的檢測(cè),最后采用小區(qū)域非極大值抑制算法進(jìn)行網(wǎng)絡(luò)檢測(cè)結(jié)果的合并,基于TerraSAR-X數(shù)據(jù)的實(shí)驗(yàn)證明了該方法是可行的。An等人[74]基于旋轉(zhuǎn)最小鄰接矩形框,采用特征金字塔網(wǎng)絡(luò)改善小目標(biāo)檢測(cè)效果,同時(shí)提出了一種結(jié)合困難樣本挖掘及焦點(diǎn)損失的方法改善在目標(biāo)檢測(cè)中正負(fù)樣本不均衡的問(wèn)題,并在高分3號(hào)等數(shù)據(jù)集上驗(yàn)證了其算法的可行性。類似的,在光學(xué)圖像中也有同樣的處理方法,趙丹新等人[75]首先構(gòu)建圖形與模板金字塔進(jìn)行多尺度檢測(cè),然后利用全卷積網(wǎng)絡(luò)提取不同層的上下文信息,實(shí)現(xiàn)對(duì)遙感圖像中飛機(jī)目標(biāo)的高精度檢測(cè)。Zhang等人[76]提出了一種級(jí)聯(lián)三視的網(wǎng)絡(luò)結(jié)構(gòu)用于SAR圖像中飛機(jī)目標(biāo)檢測(cè),基于faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)機(jī)場(chǎng)檢測(cè),在此基礎(chǔ)上通過(guò)切片及圖像處理的方法對(duì)目標(biāo)進(jìn)行檢測(cè)與鑒別;He等人[77]針對(duì)TerraSAR-X圖像中飛機(jī)墳場(chǎng)的飛機(jī)目標(biāo)具有明顯的部件分離結(jié)構(gòu)的特點(diǎn),提出了一種基于飛機(jī)組件的多層并行網(wǎng)絡(luò),利用訓(xùn)練后的模型檢測(cè)出整體目標(biāo)和相應(yīng)的部件,采用最大概率和先驗(yàn)信息來(lái)濾除虛警。隨著計(jì)算機(jī)視覺(jué)網(wǎng)絡(luò)的不斷迭代更新,譚振宇等人[78]提出了一種改進(jìn)型faster R-CNN目標(biāo)檢測(cè)算法,將非頂層特征圖與頂層特征圖進(jìn)行融合,并結(jié)合自適應(yīng)閾值進(jìn)行訓(xùn)練,該算法應(yīng)用于小樣本飛機(jī)目標(biāo)檢測(cè)時(shí)效果有明顯提升。針對(duì)現(xiàn)有深度學(xué)習(xí)算法直接應(yīng)用到SAR圖像中目標(biāo)檢測(cè)時(shí)存在冗余特征映射的問(wèn)題,Lin等人[79]提出了一種基于壓縮與激勵(lì)機(jī)制的faster R-CNN算法用于SAR圖像中艦船目標(biāo)檢測(cè),對(duì)神經(jīng)網(wǎng)絡(luò)提取的特征向量進(jìn)行編碼及篩選,反向校正子特征圖,改善網(wǎng)絡(luò)檢測(cè)效果。
然而,深度學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)依賴很強(qiáng),而SAR圖像中目標(biāo)的多變性使得同一目標(biāo)在不同的成像條件下成像結(jié)果往往會(huì)有較大差異,這對(duì)強(qiáng)烈依賴訓(xùn)練數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)是非常不利的。因此,對(duì)于SAR圖像中飛機(jī)目標(biāo)檢測(cè)與識(shí)別問(wèn)題,直接應(yīng)用深度學(xué)習(xí)典型網(wǎng)絡(luò),或者簡(jiǎn)單結(jié)合目標(biāo)結(jié)構(gòu)特征并不能獲得一個(gè)魯棒的結(jié)果。本文認(rèn)為如何將深度學(xué)習(xí)與目標(biāo)散射特征結(jié)合,提高網(wǎng)絡(luò)或模型的泛化能力,是提升SAR圖像中目標(biāo)解譯精度的關(guān)鍵問(wèn)題。
在深度學(xué)習(xí)與目標(biāo)電磁散射信息相結(jié)合方面,國(guó)內(nèi)學(xué)者也做了一些工作。本文將現(xiàn)有研究中目標(biāo)電磁散射信息與深度學(xué)習(xí)結(jié)合的方法主要分為隱式結(jié)合散射信息改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)與顯式結(jié)合散射信息增強(qiáng)圖像信息兩大類。在改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)方面:針對(duì)SAR圖像中艦船檢測(cè),考慮到SAR圖像中小尺度艦船強(qiáng)散射點(diǎn)占用像素少的問(wèn)題,Cui等人[80]提出了一種基于密集注意力的金字塔網(wǎng)絡(luò),將卷積注意模塊與金字塔網(wǎng)絡(luò)各個(gè)級(jí)聯(lián)特征圖相連,該方法將顯著特征與全局非模糊特征進(jìn)行結(jié)合,有效提升SAR圖像中目標(biāo)檢測(cè)精度。針對(duì)高分辨率SAR圖像中區(qū)域級(jí)艦船目標(biāo)灰度對(duì)比度低的問(wèn)題,Wei等人[81]提出了一種高分辨率特征金字塔網(wǎng)絡(luò)結(jié)構(gòu),并行連接從高分辨率到低分辨率的子網(wǎng)絡(luò),從而增強(qiáng)網(wǎng)絡(luò)中的目標(biāo)顯著信息,改善算法對(duì)區(qū)域級(jí)艦船目標(biāo)的檢測(cè)效果??紤]到SAR圖像中飛機(jī)目標(biāo)具有離散的強(qiáng)散射點(diǎn)的特征,Zhao等人[82]提出了一種金字塔注意膨脹網(wǎng)絡(luò)(Pyramid Attention Dilated Network,PADN)結(jié)構(gòu),其關(guān)鍵組成部分為多分支膨脹卷積模塊(Multi Branch Dilated Convolution Module,MBDCM)和卷積塊注意模塊(Convolution Block Attention Module,CBAM)。MBDCM用于改善飛機(jī)離散特征之間的關(guān)系,而CBAM對(duì)重要信息進(jìn)行提煉,建立了一種精確檢測(cè)SAR圖像中飛機(jī)的方法。在增強(qiáng)圖像信息方面,考慮到SAR圖像中飛機(jī)易表現(xiàn)為離散的強(qiáng)散射點(diǎn),并且飛機(jī)目標(biāo)部件分布滿足混合高斯模型的特征,本團(tuán)隊(duì)[83,84]提出了一種基于散射信息與深度學(xué)習(xí)融合的SAR圖像中飛機(jī)目標(biāo)檢測(cè)方法,首先通過(guò)對(duì)目標(biāo)散射特征的分析與提取,進(jìn)行圖像散射信息的增強(qiáng);然后利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力,結(jié)合目標(biāo)與背景的上下文信息,實(shí)現(xiàn)對(duì)飛機(jī)目標(biāo)的高精度檢測(cè)。
本團(tuán)隊(duì)提出的基于散射信息與深度學(xué)習(xí)融合的飛機(jī)目標(biāo)檢測(cè)算法框架如圖8所示。
本實(shí)驗(yàn)采用C波段的高分3號(hào)衛(wèi)星與X波段Terra-SAR衛(wèi)星圖像數(shù)據(jù)對(duì)算法進(jìn)行驗(yàn)證。高分3號(hào)衛(wèi)星數(shù)據(jù)分辨率為1 m×1 m,極化方式為HH極化;TerraSAR-X衛(wèi)星數(shù)據(jù)分辨率為1 m×1 m,極化方式為HH極化。在64景圖像上對(duì)算法進(jìn)行了驗(yàn)證,其中,在飛機(jī)檢測(cè)步驟中,將圖像制作為2000像素×2000像素的切片,按照9:1的比例劃分了訓(xùn)練集與測(cè)試集。
針對(duì)高分辨SAR圖像中飛機(jī)目標(biāo)檢測(cè),本實(shí)驗(yàn)采用了一種基于自適應(yīng)鑒別算子的機(jī)場(chǎng)檢測(cè)算法,通過(guò)對(duì)連通域的形態(tài),面積及孔洞占比等特征分析,精確地提取機(jī)場(chǎng)區(qū)域。機(jī)場(chǎng)檢測(cè)算法有利于在SAR圖像的大場(chǎng)景中快速定位機(jī)場(chǎng)區(qū)域,減少計(jì)算量。精確的機(jī)場(chǎng)檢測(cè)算法對(duì)于場(chǎng)景圖中機(jī)場(chǎng)以外區(qū)域與機(jī)場(chǎng)除停機(jī)坪外區(qū)域的虛警都具有良好的剔除效果,有效提升算法性能。如圖9展示了在大場(chǎng)景SAR圖像下機(jī)場(chǎng)檢測(cè)前后的飛機(jī)目標(biāo)檢測(cè)結(jié)果對(duì)比。
詳細(xì)性能比較結(jié)果如表2所示。分析實(shí)驗(yàn)結(jié)果后可以發(fā)現(xiàn),通過(guò)精確的機(jī)場(chǎng)檢測(cè)算法,飛機(jī)目標(biāo)檢測(cè)算法的虛警率可降低7.2%,檢測(cè)結(jié)果中精確率有顯著提升。此外,有效的機(jī)場(chǎng)檢測(cè)算法也可大幅減少后續(xù)飛機(jī)目標(biāo)檢測(cè)識(shí)別流程中的計(jì)算量,提升算法效率。
圖8 融合散射信息與深度學(xué)習(xí)的SAR圖像中飛機(jī)目標(biāo)檢測(cè)算法框架Fig.8 Framework of the proposed aircraft detection algorithm in SAR imagery
圖9 機(jī)場(chǎng)檢測(cè)算法效果Fig.9 Effectiveness of the proposed airport detection algorithm in SAR imagery
表2 機(jī)場(chǎng)檢測(cè)算法效果論證Tab.2 Demonstration of airport detection algorithm effectiveness
圖像散射特征信息增強(qiáng)后的多通道圖像可為特征金字塔網(wǎng)絡(luò)提供有效先驗(yàn)信息。雖然在SAR圖像中飛機(jī)的不同部件具有不同的散射機(jī)理,但其中大部分都可以描述為強(qiáng)散射點(diǎn)的組合。強(qiáng)散射點(diǎn)隨幾何結(jié)構(gòu)和外部條件的變化波動(dòng)較小,且不需要先驗(yàn)知識(shí),具有更好的應(yīng)用能力。因此算法選取具有尺度不變性和旋轉(zhuǎn)不變性的Harris-Laplace檢測(cè)器對(duì)強(qiáng)散射點(diǎn)進(jìn)行提取,然后采用高斯混合模型對(duì)散射點(diǎn)進(jìn)行建模。除此之外,算法采用初始聚類算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)進(jìn)行目標(biāo)初始聚類。基于散射信息增強(qiáng)后多通道圖像,采用特征金字塔網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)。
在高分3號(hào)與TerraSAR衛(wèi)星圖像上飛機(jī)目標(biāo)檢測(cè)結(jié)果分別如圖10和圖11所示。其中,上半部分為未經(jīng)散射信息增強(qiáng)檢測(cè)結(jié)果,下半部分為散射信息增強(qiáng)后檢測(cè)結(jié)果,綠色框代表正確檢測(cè)目標(biāo),黃色框代表虛警目標(biāo),紅色框代表漏檢目標(biāo)。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析,可以發(fā)現(xiàn)圖像散射信息增強(qiáng)有利于提升算法對(duì)目標(biāo)的檢測(cè)率,同時(shí)在一定程度上抑制了虛警的產(chǎn)生。因?yàn)閷?duì)圖像進(jìn)行散射信息增強(qiáng)在一定程度上相當(dāng)于為神經(jīng)網(wǎng)絡(luò)提供先驗(yàn)?zāi)繕?biāo)信息,與原始圖像相比,突出了目標(biāo)特征而弱化了背景雜波的影響,有利于特征金字塔網(wǎng)絡(luò)提取并學(xué)習(xí)有效特征。
在高分3號(hào)與TerraSAR-X衛(wèi)星數(shù)據(jù)上的實(shí)驗(yàn)驗(yàn)證了本實(shí)驗(yàn)算法的魯棒性與可行性,算法效果比較如表3所示。測(cè)試結(jié)果表明在未進(jìn)行散射信息增強(qiáng)時(shí),特征金字塔網(wǎng)絡(luò)算法檢測(cè)率為92.4%,虛警率為10.7%;而在散射信息增強(qiáng)后,該算法可在虛警率為7.9%的情況下檢測(cè)率達(dá)到95.4%,驗(yàn)證了散射信息增強(qiáng)的有效性。
目前,SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別算法已經(jīng)取得了一定的成果,SAR-ATR系統(tǒng)也日臻完善。統(tǒng)一的算法評(píng)價(jià)標(biāo)準(zhǔn)是用來(lái)衡量所研究算法價(jià)值的有效途徑。本文概括現(xiàn)有算法評(píng)價(jià)標(biāo)準(zhǔn)主要基于如下3個(gè)方面:
(1) 算法的精度:SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別算法應(yīng)具有較低的虛警率與極高的檢測(cè)識(shí)別率。過(guò)高的虛警率會(huì)導(dǎo)致算法檢測(cè)結(jié)果可信度降低,不具有實(shí)際應(yīng)用價(jià)值;漏檢或錯(cuò)誤識(shí)別目標(biāo)則會(huì)導(dǎo)致關(guān)鍵目標(biāo)的遺失。
圖10 高分3號(hào)圖像飛機(jī)檢測(cè)結(jié)果Fig.10 Results of aircraft detection in Gaofen-3 SAR images
圖11 TerraSAR-X圖像飛機(jī)檢測(cè)結(jié)果Fig.11 Results of aircraft detection in TerraSAR-X SAR images
(2) 算法的速度:SAR圖像中目標(biāo)檢測(cè)識(shí)別算法應(yīng)盡可能減少操作的數(shù)據(jù)量,減少網(wǎng)絡(luò)訓(xùn)練及推理所需要的時(shí)間,提升運(yùn)行速率,滿足實(shí)際應(yīng)用中的需求。
(3) 算法的穩(wěn)定性:算法應(yīng)當(dāng)具有較高的魯棒性,能夠克服由于SAR成像所導(dǎo)致的噪聲及雜波的干擾,同時(shí)能夠在成像角度與目標(biāo)背景發(fā)生變化時(shí),對(duì)同一目標(biāo)仍能實(shí)現(xiàn)高精度的檢測(cè)識(shí)別;同時(shí)一個(gè)穩(wěn)定的算法應(yīng)具有可擴(kuò)展性,能夠處理大規(guī)模數(shù)據(jù)集。
上文對(duì)目前已有的SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別算法做了較為詳細(xì)的闡述。為了便于比較,本節(jié)結(jié)合上述評(píng)價(jià)標(biāo)準(zhǔn),提綱掣領(lǐng)地指明各類算法具有的優(yōu)勢(shì)及存在的問(wèn)題,如表4所示。
表3 基于GF-3與TerraSAR-X衛(wèi)星數(shù)據(jù)的散射信息增強(qiáng)效果對(duì)比Tab.3 Results of algorithm without/with scattering information enhancement based on GF-3 and TerraSAR-X data
表4 SAR圖像飛機(jī)目標(biāo)檢測(cè)識(shí)別算法對(duì)比Tab.4 Comparison of different aircraft detection and recognition methods in SAR imagery
針對(duì)上述各類算法存在問(wèn)題,結(jié)合目前國(guó)內(nèi)外已有的各類算法,本文認(rèn)為SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別的下一步研究方向可以考慮如下幾個(gè)方面:
(1) SAR專用神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì):現(xiàn)有基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)主要是基于計(jì)算機(jī)視覺(jué)網(wǎng)絡(luò)架構(gòu)的遷移,著重考慮光學(xué)圖像中目標(biāo)特征,未在網(wǎng)絡(luò)結(jié)構(gòu)中顯式結(jié)合SAR成像機(jī)制及飛機(jī)目標(biāo)獨(dú)特的散射特性,事實(shí)上,SAR與光學(xué)的成像機(jī)理具有本質(zhì)的區(qū)別,對(duì)觀測(cè)角度極為敏感。因此,在成像角度或背景發(fā)生變化的情況下,網(wǎng)絡(luò)檢測(cè)識(shí)別效果總會(huì)有一定程度的下降,泛化能力較差。后續(xù)研究可以結(jié)合現(xiàn)有的深度學(xué)習(xí)技術(shù),發(fā)展適應(yīng)電磁信息的認(rèn)知智能算法[84]??紤]結(jié)合背景散射雜波的復(fù)雜性與不均勻性、飛機(jī)目標(biāo)的離散性與多變性等SAR圖像特性,設(shè)計(jì)SAR專用的神經(jīng)網(wǎng)絡(luò)基本單元結(jié)構(gòu),提升算法的泛化能力。
(2) 復(fù)數(shù)圖像特征的挖掘:SAR圖像以復(fù)數(shù)形式記錄某個(gè)波段的回波信息,而復(fù)數(shù)信息可對(duì)應(yīng)變換提取為圖像的振幅與相位信息。SAR圖像獨(dú)有的相位信息是其余傳感器所無(wú)法獲取的。事實(shí)上,目標(biāo)和雜波在實(shí)圖像上表現(xiàn)出差異的本質(zhì)是由二者的回波特性不同所導(dǎo)致的[6]?,F(xiàn)有大多數(shù)目標(biāo)檢測(cè)識(shí)別算法僅基于圖像的幅度信息而忽略了可用于目標(biāo)特征分析的相位信息。因此,從理論上來(lái)講,通過(guò)對(duì)二維SAR回波特性和成像機(jī)理的深入研究,提取目標(biāo)復(fù)數(shù)特征,進(jìn)一步發(fā)展更為精確的目標(biāo)檢測(cè)與識(shí)別算法具有探索意義。
(3) 少樣本或樣本不均衡條件下的算法設(shè)計(jì):現(xiàn)有基于深度學(xué)習(xí)的目標(biāo)檢測(cè)識(shí)別算法普遍存在對(duì)訓(xùn)練樣本需求量大的特點(diǎn)。而在實(shí)際應(yīng)用中,由于SAR成像機(jī)制較為復(fù)雜,數(shù)據(jù)來(lái)源較少,且圖像中目標(biāo)離散、尺寸較小,存在相干斑噪聲干擾,獲取大量且均衡的訓(xùn)練數(shù)據(jù)是非常困難的。因此,如何在少樣本或樣本不均衡的條件下,結(jié)合SAR圖像目標(biāo)仿真等技術(shù),設(shè)計(jì)弱監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)算法具有重要研究意義。
(4) 算法的普適性與不同傳感器數(shù)據(jù)的處理:受數(shù)據(jù)集的限制,本文算法只在GF-3 SAR和TerraSAR-X數(shù)據(jù)上進(jìn)行驗(yàn)證。不同傳感器數(shù)據(jù)必定會(huì)影響算法性能,可以通過(guò)建立對(duì)應(yīng)的數(shù)據(jù)集來(lái)訓(xùn)練或者遷移學(xué)習(xí)形成新的網(wǎng)絡(luò)。機(jī)場(chǎng)檢測(cè)與飛機(jī)檢測(cè)算法對(duì)數(shù)據(jù)的依賴性比較小,具有較強(qiáng)的魯棒性;但對(duì)于飛機(jī)目標(biāo)的識(shí)別,建立特定傳感器的數(shù)據(jù)集來(lái)訓(xùn)練分類是非常有必要的。通過(guò)多源數(shù)據(jù)集的融合,提高目標(biāo)檢測(cè)識(shí)別的性能也值得進(jìn)一步研究。
合成孔徑雷達(dá)作為一種全天時(shí)、全天候的微波成像雷達(dá),是空間對(duì)地觀測(cè)的有效工具,在軍用與民用領(lǐng)域都發(fā)揮著重要的作用。本文回顧了合成孔徑雷達(dá)圖像解譯技術(shù)的發(fā)展,介紹了SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別的通用流程,指出SAR圖像中飛機(jī)目標(biāo)高精度定位與識(shí)別技術(shù)受限于目標(biāo)的離散性、多變性以及復(fù)雜背景的影響,現(xiàn)有技術(shù)存在適用范圍小、魯棒性不強(qiáng),或缺乏理論支撐的短板,限制了SAR圖像中飛機(jī)目標(biāo)檢測(cè)及識(shí)別技術(shù)大規(guī)模推廣應(yīng)用。本文著重從算法是否采用目標(biāo)散射特征為出發(fā)點(diǎn),從傳統(tǒng)方法與深度學(xué)習(xí)兩個(gè)方面對(duì)SAR圖像中飛機(jī)目標(biāo)檢測(cè)識(shí)別進(jìn)行了較為全面的綜述,并提出了一種基于散射信息增強(qiáng)與深度學(xué)習(xí)結(jié)合的飛機(jī)目標(biāo)檢測(cè)算法。隨著SAR技術(shù)的不斷發(fā)展,檢測(cè)識(shí)別算法也將隨之變化,相信隨著更多學(xué)者的深入研究,這一領(lǐng)域會(huì)有更多實(shí)際性成果。