基于特征融合卷積神經(jīng)網(wǎng)絡(luò)的SAR 圖像目標(biāo)檢測方法*

劉志宏，李玉峰

（1.吉林航空維修有限責(zé)任公司吉航民機(jī)公司，吉林132102；2.沈陽航空航天大學(xué)電子信息工程學(xué)院，沈陽110136）

1 引 言

合成孔徑雷達(dá)（Synthetic Aperture Radar, SAR）具有全天時、全天候及一定穿透能力的特點，隨著SAR 技術(shù)的快速發(fā)展，其在偵查，遙感等軍事和民用領(lǐng)域應(yīng)用越來越廣泛，對SAR 圖像處理技術(shù)也提出了更高的要求，如何快速準(zhǔn)確地檢測出SAR 圖像目標(biāo)，成為SAR 圖像目標(biāo)檢測領(lǐng)域需要研究的重要問題。

在傳統(tǒng)的SAR 圖像目標(biāo)檢測方法中，需要恒虛警率（Constant False Alarm Rate, CFAR）檢測算法[1-3]應(yīng)用廣泛，絕大多數(shù)CFAR 算法基于局部滑動窗口對SAR 圖像進(jìn)行逐像素檢測,判斷是否超過某個門限，需要目標(biāo)和背景有一定的對比度，且背景雜波有一定的統(tǒng)計特性，然而復(fù)雜大場景下，背景雜波較多，其統(tǒng)計特性難以獲得，檢測效果也較差。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）是深度學(xué)習(xí)中的一種人工神經(jīng)網(wǎng)絡(luò),近些年發(fā)展迅速，并引起廣泛重視。其輸入可以是原始圖像，通過多層信息處理進(jìn)行特征學(xué)習(xí)，具有極強的適應(yīng)性，同時它的權(quán)值共享結(jié)構(gòu)大大減少了網(wǎng)絡(luò)權(quán)值數(shù)目，降低了計算復(fù)雜程度。

CNN 具有強大的特征提取能力，Krizhevsky[4]提出深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法，在ILSVR C2010 比賽中取得了很好的成績，大幅提高了圖像分類的準(zhǔn)確性，同時也提升了目標(biāo)檢測的準(zhǔn)確率。在圖像目標(biāo)檢測的問題中，Girshick[5]等人提出了RCNN 方法，采用選擇性搜索策略（Selective Search,SS）選擇候選區(qū)域，用CNN 對候選區(qū)域提取特征，通過SVM（Support Vector Machine, SVM）分類器對目標(biāo)類別識別，并對候選區(qū)域進(jìn)行邊框回歸，提高檢測效率。He Kaiming 等人[6]提出一種SPP-net 可以生成固定長度的表示，解決了CNN 輸入需固定尺寸的問題，改善了基于CNN 的圖像檢測方法。Girshick 等人[7]再次改進(jìn)提出了Fast-RCNN 的方法，將整張圖片通過CNN 之后再生成候選區(qū)域特征圖，使得檢測效率大幅提高，Ren Shaoqing 等人[8]再一次提出改進(jìn)生成候選區(qū)域的Faster-RCNN 方法，使得檢測效率又進(jìn)一步提高。

CNN 應(yīng)用于多種不同類型圖像[9-12]都有優(yōu)秀的特征提取性能，但大都基于深層卷積網(wǎng)絡(luò)模型[13-14]?；诖耍诖死脤訑?shù)較少的CNN 對SAR 目標(biāo)進(jìn)行檢測，并且在Faster-RCNN 算法的基本思想上，設(shè)計多層次卷積特征融合網(wǎng)絡(luò)，補充復(fù)雜大場景下的SAR 目標(biāo)樣本，增強了傳統(tǒng)Faster-RCNN 對于小目標(biāo)檢測能力。

2 特征提取網(wǎng)絡(luò)

2.1 基礎(chǔ)卷積特征提取網(wǎng)絡(luò)的設(shè)計

圖1 CNN 特征提取網(wǎng)絡(luò)

不同于ImageNet，PASCAL VOC 等大樣本數(shù)據(jù)集，SAR 圖像數(shù)據(jù)集較小，根據(jù)實際需求與數(shù)據(jù)特點，此處采用較少層數(shù)的特征提取卷積神經(jīng)網(wǎng)絡(luò)模型，具體結(jié)構(gòu)如圖1 所示。該模型包括輸入層、5 個卷積層、4 個池化層、輸出層，在輸入數(shù)據(jù)層對輸入的數(shù)據(jù)進(jìn)行歸一化處理后，第一個卷積層放棄了多數(shù)網(wǎng)絡(luò)在第一個卷積層使用的大卷積核，采取5×5大小的卷積核，具有更小的感受野（receptive field），其余卷積層用3×3 大小的卷積核，卷積核個數(shù)分別為64、128、256、512、512，所有的卷積核滑動步長皆為1，前4 個卷積層后每個都接一個最大池化層（max pooling）局部感受區(qū)域為2×2，步長為2，在最后一個卷積層后連接兩個全連接層。每個卷積層以及第一個全連接層后都使用線性修正單元（Rectified Linear Unit, ReLU)[15]函數(shù)作為激活函數(shù)，在實驗中可有效解決飽和問題。分類層用于驗證設(shè)計的CNN 模型特征提取效果，當(dāng)分類結(jié)果達(dá)到一定精度時，提取到的特征圖才可用于后續(xù)網(wǎng)絡(luò)。

2.2 特征融合網(wǎng)絡(luò)設(shè)計與數(shù)據(jù)完善

傳統(tǒng)的Faster-RCNN 只選擇了最后一個卷積層的特征圖，忽略了其他低層次的卷積特征圖，損失了一部分目標(biāo)信息。而深層的卷積特征對于圖像語義特征有更抽象的表達(dá)，利于對目標(biāo)分類，不利于目標(biāo)定位；低層的卷積特征考慮目標(biāo)局部細(xì)節(jié)紋理等，有利于定位。此處選取檢測SAR 目標(biāo)較小，需要在復(fù)雜場景下檢測出目標(biāo)。設(shè)計一種多層次卷積特征融合網(wǎng)絡(luò)，如圖2 所示，因考慮到不同層次的特征，具有更好的特征表達(dá)。

圖2 多層特征融合網(wǎng)絡(luò)

在選取第一個卷積層和第三個卷積層的特征圖后，存在不同層次的特征圖尺寸不一致的問題，因此對其進(jìn)行最大池化層操作，得到和第五個卷積層特征圖一樣的尺寸。進(jìn)行多層次特征融合后，不同層次的特征圖的特征分辨率（feature resolution）不同，需要進(jìn)行局部響應(yīng)歸一化（Local Response Normalization, LRN）操作。后續(xù)實驗想要在復(fù)雜大場景下，如包含較多樹木，草叢，麥田，建筑等較多的干擾信息檢測出多種姿態(tài)的SAR 目標(biāo)車輛，若要完成此任務(wù)，數(shù)據(jù)集一定要包含多種信息，且對于數(shù)量質(zhì)量要求較高，因此將大場景下包含較多干擾背景的目標(biāo)圖像數(shù)據(jù)擴(kuò)充到原來用于驗證網(wǎng)絡(luò)特征提取效果的數(shù)據(jù)集，加強網(wǎng)絡(luò)在面對復(fù)雜大場景下對于目標(biāo)的檢測能力，同時采取數(shù)據(jù)增強（data augmentation）方法，對復(fù)雜背景下的目標(biāo)圖像進(jìn)行平移，旋轉(zhuǎn)等處理擴(kuò)充樣本。

3 目標(biāo)檢測網(wǎng)絡(luò)

目標(biāo)檢測部分采用區(qū)域建議網(wǎng)絡(luò)[8]（Region Proposal Networks, RPN）的思想從輸入的多層次融合特征圖中得到目標(biāo)所在位置的候選區(qū)域，之后用Fast-RCNN 中目標(biāo)檢測部分的網(wǎng)絡(luò)對建議區(qū)域進(jìn)分類和邊框回歸，檢測出目標(biāo)，并得到更加真實的目標(biāo)區(qū)域，其中兩個網(wǎng)絡(luò)共享CNN 卷積層特征。

3.1 目標(biāo)候選區(qū)域的生成

RPN 是用來直接得到所包含目標(biāo)的候選區(qū)域，具體結(jié)構(gòu)模型如圖3 所示。其輸入是圖片經(jīng)過2.2節(jié)多層次特征融合后的特征圖，經(jīng)過一個滑動窗口小網(wǎng)絡(luò)，小網(wǎng)絡(luò)以n×n 大小的窗口在輸入的特征圖上滑動，此步驟是以卷積核大小為n×n（此處選取n=3）的卷積層實現(xiàn)的，并映射為一個更低緯度維度特征向量，之后將此特征向量輸入到兩個同級的卷積層，卷積核尺寸為1×1，分別用于cls 和reg（分類和邊框回歸）實現(xiàn)對原始的目標(biāo)建議區(qū)域精修。

利用RPN 生成區(qū)域建議相較于傳統(tǒng)的selective search[5]尋找目標(biāo)區(qū)域大大縮短了時間，提高了效率。在每個小滑動窗口的中心，我們通過設(shè)定3 個尺度（scales）和3 個縱橫比（aspect ratios）生成9 個原始的區(qū)域，稱之為anchor，鑒于此處需要檢測的SAR 目標(biāo)較小，舍棄原本的128/256/512 這三種尺度，將尺度重設(shè)為64/128/256，縱橫比依舊為1：1/1：2/2：1。通過設(shè)定參考區(qū)域與目標(biāo)真實區(qū)域的重疊部分（Intersection over Union, IOU），大于0.7 稱為正標(biāo)簽，小于0.3 稱為負(fù)標(biāo)簽，1：1 選取正負(fù)標(biāo)簽，共256 個anchor 作為一個mini-batch 拿去訓(xùn)練。

圖3 候選區(qū)域生成網(wǎng)絡(luò)

選擇多任務(wù)（multi-task）損失函數(shù)如下式，進(jìn)行RPN 網(wǎng)絡(luò)的超參數(shù)優(yōu)化：

其中i 是一個mini-batch 中的目標(biāo)參考區(qū)域的索引；Ncls表示其中包含的樣本數(shù)，即mini-batch 的大小；Nreg表示輸入網(wǎng)絡(luò)的所有參考區(qū)域anchor 的數(shù)目；λ 則是平衡系數(shù)，用來控制兩個損失函數(shù)權(quán)重；Lcls為分類損失函數(shù)，用于判斷區(qū)域是否有目標(biāo)，在實驗中使用優(yōu)化后的交叉熵?fù)p失函數(shù)，即：

它適用于每個類別相互獨立且排斥的情況；pi表示經(jīng)過softmax 之后第i 個anchor 預(yù)測為目標(biāo)區(qū)域的概率；pi*為參考目標(biāo)區(qū)域的真實標(biāo)簽；Lreg為邊框損失函數(shù)，即：

式中，x、y 表示預(yù)測區(qū)域中心點的橫縱坐標(biāo)，w、h 則表示寬和高，xa表示初始參考的anchor 的橫坐標(biāo), x*表示真實橫坐標(biāo)?？v坐標(biāo)、寬、高與此定義方式相同。

RPN 網(wǎng)絡(luò)生成的建議區(qū)域存在大量重疊，對此采取非極大值抑制（Non-Maximum Suppression,NMS），篩除掉部分區(qū)域，并選取通過分類層后判斷為目標(biāo)區(qū)域概率最高的前N 個作為最終建議區(qū)域輸出。

3.2 目標(biāo)檢測網(wǎng)絡(luò)的說明

目標(biāo)檢測網(wǎng)絡(luò)具體如圖4 所示。經(jīng)過RPN 網(wǎng)絡(luò)生成的候選目標(biāo)區(qū)域，再通過提前設(shè)置好的feat_stride 參數(shù)映射回2.1 節(jié)網(wǎng)絡(luò)生成的卷積特征圖feature map。由于anchor 的多尺度特性，得到的建議區(qū)域特征圖（proposal feature maps）尺寸是不固定的，需經(jīng)過ROI pooling 層實現(xiàn)固定尺寸輸入。之后經(jīng)過全連接層，映射為特征向量，此處采用高維特征向量。得到的特征向量用于之后兩個并列的平級分類層（n+1 類目標(biāo)）和邊框回歸層,前者用于目標(biāo)分類，得到建議區(qū)域目標(biāo)分類結(jié)果的離散概率P，分類結(jié)果相互獨立排斥。后者得到目標(biāo)區(qū)域四個參數(shù)化坐標(biāo)，同(5)式，用于目標(biāo)定位。

圖4 目標(biāo)檢測網(wǎng)絡(luò)

4 實驗及結(jié)果分析

4.1 數(shù)據(jù)準(zhǔn)備與說明

為驗證本方法有效性，實驗使用運動和靜止目標(biāo)獲取與識別（Moving and Stationary Target Acquisitionand Recognition, MSTAR）數(shù)據(jù)集中的128×128大小的靜止目標(biāo)切片圖像，包含有7 個小類，3 個大類的不同方位角下的車輛目標(biāo)圖像。MSTAR 同樣包含有部分大小為1748×1478 的復(fù)雜大場景圖像，包括麥田、草地、樹木、胡泊、建筑物等，但這些圖像不包含目標(biāo)，因此，嵌入許多大小為128×128 的目標(biāo)圖像到整個場景圖像中[10]，這種操作是合理的，因為目標(biāo)圖像和場景圖像都由同一的SAR 傳感器獲取，分辨率統(tǒng)一為0.3M。用此方法構(gòu)建出本實驗，需要m_MSTAR 數(shù)據(jù)集，并與MSTAR 數(shù)據(jù)集合并構(gòu)成所用的完整數(shù)據(jù)集。經(jīng)過數(shù)據(jù)增強技術(shù)后，m_MSTAR和MSTAR 數(shù)據(jù)集比例達(dá)到1：1.5，共800 張數(shù)據(jù)集圖像。圖5 分別給出這兩個數(shù)據(jù)集的樣本示例。

圖5 樣本數(shù)據(jù)實例

4.2 多任務(wù)網(wǎng)絡(luò)的訓(xùn)練

實驗時，使用近似聯(lián)合訓(xùn)練多任務(wù)網(wǎng)絡(luò)、共享融合后的卷積特征圖、RPN 網(wǎng)絡(luò)和Fast-RCNN 目標(biāo)檢測網(wǎng)絡(luò)合并到一個訓(xùn)練網(wǎng)絡(luò)，因為忽略了反向傳播過程中ROI pooling 層關(guān)于區(qū)域坐標(biāo)建議的導(dǎo)數(shù)，導(dǎo)致此部分權(quán)重?zé)o法更新，所以稱為近似聯(lián)合訓(xùn)練，這種方式可以節(jié)約時間成本，提高效率。

在對近似聯(lián)合訓(xùn)練網(wǎng)絡(luò)訓(xùn)練時，初始學(xué)習(xí)率設(shè)定為0.01，等損失值變化較小時再更新學(xué)習(xí)率，將學(xué)習(xí)率除以10。對于網(wǎng)絡(luò)損失函數(shù)優(yōu)化，選用帶有動量（momentum）的隨機(jī)梯度下降算法，在訓(xùn)練網(wǎng)絡(luò)時按照高斯分布進(jìn)行初始化，并不能保證使得網(wǎng)絡(luò)的初始權(quán)值處在一個合適的狀態(tài)，有可能在訓(xùn)練過程中陷入局部最小值，無法達(dá)到全局最優(yōu)。對于高維非凸函數(shù)來，還可能出現(xiàn)很多鞍點，在引入動量后可以使SGD 逃離局部鞍點震蕩或者不陷入局部最小值，同時起到一定的加速作用。加入動量后的SGD 權(quán)值更新為：

4.3 實驗效果分析

4.3.1 特征提取效果分析

CNN 對于目標(biāo)特征提取效果的好壞將直接影響后續(xù)網(wǎng)絡(luò)模型的最終檢測效果。為驗證本設(shè)計的基礎(chǔ)CNN 對于SAR 圖像目標(biāo)特征提取的有效性，單獨訓(xùn)練此部分網(wǎng)絡(luò)，并將訓(xùn)練好的網(wǎng)絡(luò)模型結(jié)構(gòu)用來分類識別，此結(jié)果能夠很大程度上驗證設(shè)計的網(wǎng)絡(luò)對目標(biāo)特征提取的效果。

此步驟中，訓(xùn)練數(shù)據(jù)樣本采用的是17°俯仰角下大小為128×128 的BMP2_SN9566、BTR70_C71、T72_SN132、T72_SN812、T72_SNS7 車輛SAR 圖像數(shù)據(jù)；用于測試分類效果的數(shù)據(jù)為15°俯仰角下的BMP2_SN9566、BMP2_SN9563、BMP2_C71、BTR70_C71、T72_SN132、T72_SN812、T72_SNS7。最終結(jié)果分為BMP2、BTR70、T72 三個大類。

在原圖像中，目標(biāo)在圖像向中央位置，為了加快網(wǎng)絡(luò)計算速度，將原圖像從中心裁剪成64×64 大小，減少輸入維數(shù)。模型訓(xùn)練足夠多次迭代，調(diào)節(jié)學(xué)習(xí)率直到loss 值不再明顯變化，收斂于一個較窄的范圍。這一基礎(chǔ)CNN 特征提取網(wǎng)絡(luò)訓(xùn)練模型中一個輸入圖像以及其每層卷積特征響應(yīng)圖如圖6 所示，對于測試數(shù)據(jù)具體分類結(jié)果如表1 所示。

圖6 輸入圖像、Conv1-conv5 特征響應(yīng)圖

表1 基礎(chǔ)CNN 分類結(jié)果

從表1 中實驗結(jié)果可以看出，就本數(shù)據(jù)集而言，此基礎(chǔ)CNN 在面對新測試數(shù)據(jù)時，特征提取效果較好，所得的目標(biāo)分類結(jié)果準(zhǔn)確率較高，同時沒有出現(xiàn)過擬合的情況，具有較強的泛化效果，提取的特征圖可較好地用于后續(xù)在復(fù)雜場景中的目標(biāo)檢測實驗。

4.3.2 復(fù)雜大場景下對SAR 目標(biāo)檢測

本實驗在Ubuntu16.04 系統(tǒng)環(huán)境下,基于深度學(xué)習(xí)tensorflow 框架，使用GPU 加速計算。使用新的數(shù)據(jù)驗證本算法訓(xùn)練所得網(wǎng)絡(luò)模型對于SAR 目標(biāo)檢測的效果。在目標(biāo)得分閾值設(shè)置為0.8 時，選取驗證數(shù)據(jù)集中如圖7 所示三種復(fù)雜環(huán)境下的效果，包含不同姿態(tài)的多個待檢測目標(biāo)。該模型對場景1、場景3 很好地實現(xiàn)了不同姿態(tài)SAR 目標(biāo)的自動檢測，目標(biāo)位置定位較為準(zhǔn)確；場景2 有大量的樹木，田地等干擾背景，雖然出現(xiàn)了虛檢，將樹木或其他干擾檢測為目標(biāo)，但是并沒有出現(xiàn)漏檢。后續(xù)研究中可對于虛檢的目標(biāo)經(jīng)人工處理或進(jìn)一步調(diào)整網(wǎng)絡(luò)和優(yōu)化超參數(shù)，以降低虛檢率。

圖7 不同場景下SAR 圖像目標(biāo)檢測效果

VGGnet[16]是一種與它類似的特征提取網(wǎng)絡(luò)，由牛津大學(xué)的視覺幾何組（Visual Geometry Group)提出，包含16～19 層。區(qū)別在于，VGGnet 有著更深的網(wǎng)絡(luò)結(jié)構(gòu)。另一種ZFnet[17]則有5 個卷積層，3 個池化層，與此基礎(chǔ)CNN 結(jié)構(gòu)層數(shù)相近，訓(xùn)練難度大致相等。圖8 給出相同場景下，不特征提取網(wǎng)絡(luò)在得分閾值設(shè)置為0.8 時的目標(biāo)檢測效果對比。

圖8 不同特征提取結(jié)構(gòu)檢測效果

與本方法相比，另外兩種結(jié)構(gòu)在作為基礎(chǔ)特征提取網(wǎng)絡(luò)時出現(xiàn)過多漏檢，虛檢現(xiàn)象。表2 給出了驗證數(shù)據(jù)集中的檢測結(jié)果，在本地實驗環(huán)境下，對于同一張1476×1748 大小的SAR 圖像，本方法檢測需要用時0.324s，VGGnet 結(jié)構(gòu)則需要耗時0.465s，顯見檢測效率相對較低。

表2 不同特征提取層CNN 檢測結(jié)果

其中TP 表示正確檢測到的目標(biāo)數(shù)，F(xiàn)P 表示虛檢數(shù)，驗證數(shù)據(jù)集需要檢測的目標(biāo)數(shù)目N=120。使用召回率（R）和精準(zhǔn)率（P）來評價SAR 目標(biāo)檢測效果，指標(biāo)具體表達(dá)式為：

從圖8 和表2 的檢測結(jié)果來看，對于所使用的數(shù)據(jù)集，過于深層的VGGnet 模型結(jié)構(gòu)越復(fù)雜，超參數(shù)的優(yōu)化越難，越易將噪聲誤作為有效特征，出現(xiàn)較多虛檢，在面對新數(shù)據(jù)時泛化能力較差。而ZFnet 檢測的精準(zhǔn)率雖然較高，出現(xiàn)虛檢的情況較少，但是召回率不足。

魯棒性是目標(biāo)檢測需要考慮的重要因素之一，驗證數(shù)據(jù)集中對部分圖像加入噪聲密度為0.1 的椒鹽噪聲和均值為0、方差為65 的高斯噪聲。圖9 繪制了幾種方法在驗證數(shù)據(jù)集的的P-R 曲線。表3 給出不同方法的AP 值（Average Precision）。

圖9 各方法對比P-R 曲線

表3 不同方法的AP 值

在實驗中VGGnet 在面對噪聲時檢測能力明顯較弱，會出現(xiàn)在整個大場景下完全檢測不到目標(biāo)的情況，也會把樹木等干擾雜波檢測為目標(biāo)，召回率比較差；ZFnet 對于目標(biāo)的特征表達(dá)也不足，召回率也不太理想。本方法中基礎(chǔ)CNN 層數(shù)適中，卷積特征提取效果較好，同時加入多層次卷積特征融合，具有更加豐富的特征表達(dá)，經(jīng)過后續(xù)先得到候選目標(biāo)區(qū)域再對目標(biāo)進(jìn)行檢測這樣“兩步走”的網(wǎng)絡(luò)，最終達(dá)到對大場景下較小SAR 目標(biāo)的較好的檢測效果。

5 結(jié) 束 語

使用較完備的SAR 數(shù)據(jù)集，同時補充復(fù)雜大場景下訓(xùn)練樣本信息，利用CNN 優(yōu)秀的特征提取能力，舍棄層數(shù)太多的CNN 結(jié)構(gòu)，使用一種層數(shù)較少的基礎(chǔ)CNN，通過多層次卷積特征融合網(wǎng)絡(luò)，得到更加豐富的目標(biāo)特征信息。經(jīng)過目標(biāo)檢測網(wǎng)絡(luò)，用GPU 加速優(yōu)化訓(xùn)練后得到完整的SAR 圖像目標(biāo)檢測模型。實驗數(shù)據(jù)及結(jié)果表明所提方法具有較好的魯棒性和泛化能力，可以實現(xiàn)在復(fù)雜大場景下對較小SAR 圖像目標(biāo)的的檢測，檢測效果更好。