基于CNN的SAR車(chē)輛目標(biāo)檢測(cè)

夏 勇 李玉景 吳 濤

(1.中國(guó)電子科技集團(tuán)公司第三十八研究所， 安徽合肥 230088；2.孔徑陣列與空間探測(cè)安徽省重點(diǎn)實(shí)驗(yàn)室， 安徽合肥 230088)

0 引言

由于合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)具有遠(yuǎn)距離、穿透云霧植被、全天候?qū)Φ赜^測(cè)的特點(diǎn)[1]，近些年來(lái)其在軍事和民用領(lǐng)域的應(yīng)用也越來(lái)越廣泛。但是SAR圖像的圖像特性會(huì)隨著不同的成像參數(shù)、成像姿態(tài)、地物環(huán)境等發(fā)生較大的變化，使得SAR圖像的目標(biāo)檢測(cè)和識(shí)別變得非常困難[2]。

傳統(tǒng)的SAR圖像目標(biāo)檢測(cè)方法以恒虛警率(Constant False Alarm Rate，CFAR)檢測(cè)算法及其衍生算法的應(yīng)用最為廣泛[3]。但是該方法需要目標(biāo)與背景雜波具有較高的對(duì)比度，且假設(shè)背景雜波是滿足某種統(tǒng)計(jì)模型的分布，具有較大的局限性。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)的一種，由于其采用權(quán)值共享的策略來(lái)減少參數(shù)，對(duì)圖像的平移、縮放、傾斜或其他形式的變形具有高度的不變性，因此被廣泛用于二維圖像目標(biāo)的檢測(cè)和識(shí)別中。CNN在不同階段的學(xué)習(xí)中可以抽象出不同層次的特征，避免了傳統(tǒng)機(jī)器學(xué)習(xí)算法中人工設(shè)計(jì)特征和分類(lèi)器的過(guò)程。

CNN以其衍生算法在圖像識(shí)別領(lǐng)域發(fā)展迅速[4-9]。 Faster-RCNN框架是從R-CNN[10]和 Fast-RCNN[11]迭代發(fā)展而來(lái)，把目標(biāo)檢測(cè)識(shí)別的步驟(特征區(qū)域生成、特征提取、分類(lèi)和候選區(qū)域回歸)統(tǒng)一到一個(gè)深度網(wǎng)絡(luò)的框架之內(nèi)，可以取得更快的檢測(cè)速度和更好的檢測(cè)精度[12]。其提出區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network,RPN)來(lái)代替Selective Search的方法預(yù)測(cè)建議框，不僅可以生成質(zhì)量高、數(shù)量少的建議框，而且由于RPN的預(yù)測(cè)可以在GPU中完成，且卷積網(wǎng)和Fast-RCNN可以部分共享，所以大幅提升了目標(biāo)檢測(cè)的速度。

本文以Faster-RCNN為基本框架，利用深度學(xué)習(xí)客戶(hù)端對(duì)預(yù)處理后的樣本進(jìn)行擴(kuò)充和訓(xùn)練，分別使用ZF和VGG-16網(wǎng)絡(luò)進(jìn)行端到端的車(chē)輛目標(biāo)檢測(cè)實(shí)驗(yàn)。

1 樣本數(shù)據(jù)集

目前在SAR圖像檢測(cè)和識(shí)別領(lǐng)域，由于數(shù)據(jù)源的限制，使用較多的公開(kāi)數(shù)據(jù)集是MSTAR數(shù)據(jù)集和MiniSAR數(shù)據(jù)集。MSTAR數(shù)據(jù)集中每一幅圖像的尺寸為128×128，包含3大類(lèi)7種型號(hào)的目標(biāo)，數(shù)據(jù)集中對(duì)一種型號(hào)的目標(biāo)都采集了不同方位角和俯仰角的圖像。該數(shù)據(jù)集由于圖像尺寸較小且背景雜波的干擾很小，一般用于目標(biāo)識(shí)別研究，不適用于大場(chǎng)景圖像的目標(biāo)檢測(cè)。MiniSAR數(shù)據(jù)集的圖像尺寸為2 510×1 638，圖像中包含多種姿態(tài)的目標(biāo)，且包含多種干擾信號(hào)(建筑物，樹(shù)木等)，但是數(shù)據(jù)量很少，無(wú)法對(duì)模型進(jìn)行充分訓(xùn)練，只能作為驗(yàn)證集檢驗(yàn)?zāi)Ｐ皖A(yù)測(cè)的精度。

在本文中使用的數(shù)據(jù)是在某地區(qū)布設(shè)不同類(lèi)型(包括大巴、吊車(chē)和卡車(chē))、不同擺放角度的車(chē)輛目標(biāo)后，利用機(jī)載的全極化X波段雷達(dá)對(duì)該布設(shè)場(chǎng)景進(jìn)行多個(gè)航次的成像后獲取的。對(duì)成像后的slc數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，得到方位向和距離向分辨率為0.3 m的地距幅度圖像。以約3 000× 3 000的大小對(duì)這些地距幅度圖像進(jìn)行裁剪后，得到17幅包含車(chē)輛目標(biāo)和復(fù)雜背景全極化圖像的數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)的示例如圖1所示。

圖1 全極化數(shù)據(jù)示意圖

人工對(duì)68(17×4，17個(gè)架次4個(gè)不同極化方式)幅圖像中的車(chē)輛目標(biāo)進(jìn)行標(biāo)注，參考VOC2007數(shù)據(jù)格式生成對(duì)應(yīng)的xml文件。利用python +pyQT5編寫(xiě)的深度學(xué)習(xí)訓(xùn)練客戶(hù)端，對(duì)模型進(jìn)行訓(xùn)練和測(cè)試。該客戶(hù)端如圖2所示，其相比于原始搭建的py-faster-rcnn工程有以下幾點(diǎn)優(yōu)勢(shì)：

圖2 深度學(xué)習(xí)客戶(hù)端截圖

1) 原始的py-faster-rcnn工程數(shù)據(jù)集的準(zhǔn)備必須按照固定的格式放在固定的路徑下，例如訓(xùn)練和測(cè)試的數(shù)據(jù)、標(biāo)注xml文件以及訓(xùn)練和測(cè)試數(shù)據(jù)的列表必須放在py-faster-rcnndataVOCdevkit2007 VOC2007路徑下的JPEGImages,Annotations和ImageSets文件夾下；而使用客戶(hù)端進(jìn)行訓(xùn)練時(shí)，只需要提供一個(gè)包含數(shù)據(jù)和xml文件絕對(duì)路徑的文件列表即可。

2) 客戶(hù)端集成了數(shù)據(jù)裁剪和旋轉(zhuǎn)的功能，可以把輸入的圖像數(shù)據(jù)裁剪為長(zhǎng)寬固定為1 000× 1 000的圖像(Faster-RCNN模型不適用于長(zhǎng)寬太大的SAR圖像)，設(shè)置圖像旋轉(zhuǎn)的角度間隔對(duì)裁剪后的圖像進(jìn)行旋轉(zhuǎn)，用來(lái)擴(kuò)充數(shù)據(jù)集。

3) 原始的py-faster-rcnn工程在訓(xùn)練和測(cè)試時(shí)，想要添加或者刪除目標(biāo)檢測(cè)識(shí)別的種類(lèi)時(shí)，需要修改相應(yīng)的python代碼；而客戶(hù)端則只需要提供目標(biāo)分類(lèi)文件，用戶(hù)可以自定義識(shí)別的種類(lèi)。

2 Faster-RCNN框架

該網(wǎng)絡(luò)模型的設(shè)計(jì)參考Faster-RCNN的基本框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要由特征提取層、RPN層、ROI池化層和分類(lèi)提取層組成。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1) 特征提取層主要包含多個(gè)卷積層、激活層和池化層等，其通過(guò)提取圖像的特征圖來(lái)作為候選提取層和分類(lèi)識(shí)別層的輸入。特征提取層根據(jù)網(wǎng)絡(luò)的深度，可以分為VGG-16網(wǎng)絡(luò)和ZF網(wǎng)絡(luò)兩種，VGG-16網(wǎng)絡(luò)包含13個(gè)卷積層、13個(gè)激活函數(shù)層和4個(gè)池化層，而ZF網(wǎng)絡(luò)則包含5個(gè)卷積層、5個(gè)激活函數(shù)層和2個(gè)池化層，兩個(gè)模型輸出的特征圖大小都為原圖的1/16。由于卷積層的數(shù)目更少，因此ZF模型相對(duì)于VGG-16模型訓(xùn)練和測(cè)試的速度更快。在本文的實(shí)驗(yàn)中，對(duì)ZF和VGG模型都進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)效果的對(duì)比展示在第4節(jié)。

2) 區(qū)域生成網(wǎng)絡(luò)通過(guò)在特征提取層輸入的最后一層特征圖中滑窗提取候選框，對(duì)特征圖中的每一個(gè)像素點(diǎn)設(shè)置9個(gè)大小和長(zhǎng)寬比不同的錨點(diǎn)(anchor)，并結(jié)合邊框回歸初步得到目標(biāo)的候選框。因?yàn)閷?shí)驗(yàn)中車(chē)輛目標(biāo)相對(duì)于輸入的1 000× 1 000的圖像而言較小，因此增加了3個(gè)小尺寸的錨點(diǎn)，設(shè)置了12個(gè)大小和長(zhǎng)寬比不同的錨點(diǎn)。

3) ROI池化層收集輸入的特征圖和候選框，綜合這些信息后提取候選框特征圖，送入后續(xù)的分類(lèi)識(shí)別層判定目標(biāo)類(lèi)別。

4) 分類(lèi)識(shí)別層對(duì)候選框進(jìn)行分類(lèi)識(shí)別，并進(jìn)行更精確的邊框回歸，最終實(shí)現(xiàn)對(duì)復(fù)雜背景SAR圖像的目標(biāo)檢測(cè)。

3 模型訓(xùn)練

訓(xùn)練的客戶(hù)端把64幅大約3 000×3 000的輸入圖像裁剪為固定大小的1 000×1 000的圖像，并對(duì)每個(gè)裁剪后的樣本以30°的旋轉(zhuǎn)間隔進(jìn)行數(shù)據(jù)的擴(kuò)充，最后得到訓(xùn)練集有5 676個(gè)樣本，驗(yàn)證集有2 772個(gè)樣本，剩下的4幅原始圖像以同樣的方式制作成660個(gè)樣本作為測(cè)試集。為了測(cè)試訓(xùn)練得到的模型是否適應(yīng)不同場(chǎng)景下的目標(biāo)檢測(cè)，因此在MiniSAR數(shù)據(jù)集中選取部分?jǐn)?shù)據(jù)制作成968個(gè)測(cè)試樣本作為補(bǔ)充，增加到測(cè)試集中。

本文使用ZF和VGG-16網(wǎng)絡(luò)在樣本數(shù)據(jù)集上進(jìn)行訓(xùn)練驗(yàn)證和測(cè)試，訓(xùn)練時(shí)兩種模型的參數(shù)文件配置如下：基礎(chǔ)學(xué)習(xí)率1×10-4,權(quán)值衰減率 5×10-4,迭代次數(shù)分別選取1 000, 5 000和10 000次，可以得到總共6個(gè)模型輸出文件。

訓(xùn)練時(shí)采用全監(jiān)督訓(xùn)練模式，整個(gè)訓(xùn)練過(guò)程分為兩部分，第一部分利用遷移學(xué)習(xí)對(duì)網(wǎng)絡(luò)模型的部分參數(shù)進(jìn)行預(yù)訓(xùn)練；第二部分是利用樣本數(shù)據(jù)集對(duì)模型進(jìn)行再訓(xùn)練，完成端到端的車(chē)輛目標(biāo)檢測(cè)。由于SAR圖像的數(shù)據(jù)相對(duì)較少，無(wú)法充分從零開(kāi)始訓(xùn)練網(wǎng)絡(luò)，故引入遷移學(xué)習(xí)。在本試驗(yàn)中遷移學(xué)習(xí)使用的具體步驟是：

1) 針對(duì)ZF和VGG-16網(wǎng)絡(luò)分別利用大型數(shù)據(jù)集ILSVRC-2012對(duì)網(wǎng)絡(luò)中的隨機(jī)初始化參數(shù)進(jìn)行預(yù)訓(xùn)練。

2) 保留訓(xùn)練好的模型的特征提取層參數(shù)，利用擴(kuò)充的SAR數(shù)據(jù)集對(duì)候選提取層和分類(lèi)識(shí)別層進(jìn)行再訓(xùn)練。

3) 利用再訓(xùn)練好模型完成目標(biāo)檢測(cè)和識(shí)別。

雖然預(yù)訓(xùn)練數(shù)據(jù)集是光學(xué)圖像，與SAR圖像有一定出入，但通過(guò)大量訓(xùn)練使得模型參數(shù)擬合到可以檢測(cè)識(shí)別目標(biāo)，其效果遠(yuǎn)遠(yuǎn)優(yōu)于初始化參數(shù)，并能大幅減少網(wǎng)絡(luò)的訓(xùn)練開(kāi)銷(xiāo)。如圖4所示，采用遷移學(xué)習(xí)的方法(綠色)與直接訓(xùn)練的方法(藍(lán)色)相比明顯加快了網(wǎng)絡(luò)的收斂速度，而且收斂后的損失值要小于直接訓(xùn)練值。其次，該方法可以有效降低訓(xùn)練網(wǎng)絡(luò)對(duì)大量樣本的需求。

圖4 損失曲線對(duì)比圖

4 實(shí)驗(yàn)結(jié)果和分析

基于Faster-RCNN框架端到端的模型訓(xùn)練和測(cè)試流程如圖5所示。

圖5 復(fù)雜背景SAR目標(biāo)檢測(cè)流程

4.1 平臺(tái)配置和評(píng)價(jià)標(biāo)準(zhǔn)

本文實(shí)驗(yàn)使用平臺(tái)的配置為Win7系統(tǒng)，處理器為Intel Xeon CPU E5-2637 v2 @3.5 GHz，RAM為16 GB，GPU選擇的是NVIDIA Tesla K40m，其顯存為12 GB，計(jì)算能力為3.5。

兩種模型均采用平均準(zhǔn)確率(mean Average Precision, mAP)作為檢測(cè)效果評(píng)價(jià)標(biāo)準(zhǔn)。mAP是根據(jù)查全率和查準(zhǔn)率所繪制曲線的積分，解決了傳統(tǒng)評(píng)估標(biāo)準(zhǔn)查全率(R)、查準(zhǔn)率(P)和F-Score的單點(diǎn)值局限性。因此，mAP可以更有效地綜合評(píng)估算法的有效性和準(zhǔn)確性。其計(jì)算公式為

4.2 實(shí)驗(yàn)結(jié)果與分析

如表1所示，展示了兩種模型在660個(gè)測(cè)試集和1 628個(gè)測(cè)試集(包含MiniSAR數(shù)據(jù))中的檢測(cè)結(jié)果的指標(biāo)統(tǒng)計(jì)。

表1 指標(biāo)統(tǒng)計(jì)表

通過(guò)對(duì)比T1～T6的實(shí)驗(yàn)可以發(fā)現(xiàn)以下幾點(diǎn)結(jié)論：1)由于VGG-16網(wǎng)絡(luò)的層數(shù)更深，所以單張圖像的檢測(cè)耗時(shí)也高于ZF網(wǎng)絡(luò)；2)隨著迭代次數(shù)的增加，ZF和VGG-16網(wǎng)絡(luò)在兩種測(cè)試集中的mAP也相應(yīng)提高；3)ZF網(wǎng)絡(luò)和VGG-16網(wǎng)絡(luò)在兩種測(cè)試集中的mAP十分接近，這說(shuō)明對(duì)于本文實(shí)驗(yàn)的場(chǎng)景，ZF網(wǎng)絡(luò)4個(gè)卷積層所提取的特征已經(jīng)足夠進(jìn)行車(chē)輛目標(biāo)的檢測(cè)，再增加網(wǎng)絡(luò)的深度并不會(huì)提升車(chē)輛目標(biāo)的檢測(cè)效果；4)對(duì)比兩個(gè)測(cè)試集中的檢測(cè)結(jié)果，兩種網(wǎng)絡(luò)mAP也十分接近，這說(shuō)明即使訓(xùn)練迭代次數(shù)設(shè)置為10 000，兩種網(wǎng)絡(luò)也沒(méi)有過(guò)擬合的現(xiàn)象出現(xiàn)。綜合以上4點(diǎn)分析，下面展示實(shí)驗(yàn)T3在MiniSAR測(cè)試集的部分檢測(cè)結(jié)果和訓(xùn)練損失曲線，如圖6和圖7所示。

圖6 ZF網(wǎng)絡(luò)迭代10 000次的檢測(cè)結(jié)果

圖6(b)中圖片為MiniSAR截取的場(chǎng)景之一，其余3張為原始測(cè)試集中的場(chǎng)景。對(duì)目標(biāo)檢測(cè)結(jié)果和真實(shí)的標(biāo)注結(jié)果進(jìn)行統(tǒng)計(jì)如表2所示?？梢园l(fā)現(xiàn)4張圖片的查準(zhǔn)率達(dá)到90.5%，查全率達(dá)到97.4%，F(xiàn)1-Score達(dá)到93.8%。

表2 部分場(chǎng)景指標(biāo)統(tǒng)計(jì)表

圖7中有5類(lèi)損失值，其中4類(lèi)為每次訓(xùn)練迭代時(shí)的瞬時(shí)損失值，包括回歸框損失(bbox_loss)、分類(lèi)層損失(cls_loss)、RPN層分類(lèi)損失(rpn_cls_ loss)、RPN層回歸框損失(rpn_bbox_loss)。而總的損失(train_total_loss)則是平均損失值，觀察train_total_loss的曲線可以發(fā)現(xiàn)，隨著迭代次數(shù)的增加，train_total_loss趨于收斂。

圖7 損失曲線圖

5 結(jié)束語(yǔ)

本文提出了一個(gè)基于Faster-RCNN框架的、端對(duì)端的、具備在復(fù)雜背景下進(jìn)行SAR車(chē)輛目標(biāo)檢測(cè)的方案。對(duì)原始樣本進(jìn)行標(biāo)注后，使用深度學(xué)習(xí)客戶(hù)端對(duì)樣本裁剪并旋轉(zhuǎn)來(lái)擴(kuò)充樣本，并設(shè)置相同的訓(xùn)練參數(shù)對(duì)ZF和VGG-16網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練。訓(xùn)練完成后的模型分別使用兩種測(cè)試集進(jìn)行評(píng)價(jià)，評(píng)價(jià)的結(jié)果表明：在本文實(shí)驗(yàn)場(chǎng)景下，隨著迭代次數(shù)的增加，兩種網(wǎng)絡(luò)的檢測(cè)效果都隨著提升；ZF具備更快的檢測(cè)時(shí)間以及和VGG-16網(wǎng)絡(luò)相同的檢測(cè)效果。選取ZF網(wǎng)絡(luò)迭代10 000次的模型，在1 628幅測(cè)試樣本中的mAP達(dá)到0.68，在4幅不同場(chǎng)景的樣本中F1-Score達(dá)到93.8%。雖然基于ZF網(wǎng)絡(luò)訓(xùn)練得到的模型在實(shí)驗(yàn)數(shù)據(jù)集中取得了較好的檢測(cè)效果，但是與之相比網(wǎng)絡(luò)層數(shù)更深的VGG-16網(wǎng)絡(luò)并沒(méi)有取得預(yù)想中更好的檢測(cè)效果，有可能是因?yàn)殡S著網(wǎng)絡(luò)層數(shù)的增加導(dǎo)致網(wǎng)絡(luò)性能下降。因此下一步工作準(zhǔn)備將深度殘差網(wǎng)絡(luò)ResNet和Faster-RCNN框架結(jié)合，實(shí)驗(yàn)?zāi)芊窭肦esNet順序累加殘差塊的特性[13]，來(lái)解決深度卷積網(wǎng)絡(luò)性能退化的問(wèn)題。