基于深度學(xué)習(xí)的SAR 圖像目標檢測實驗*

林志龍，王長龍，胡永江

（陸軍工程大學(xué)無人機工程系，石家莊 050003）

0 引言

合成孔徑雷達（Synthetic Aperture Radar，SAR）可以提供全天候?qū)Φ赜^測的高分辨率的圖像，廣泛用于環(huán)境監(jiān)測、地球資源測繪和軍事系統(tǒng)。隨著SAR 圖像數(shù)據(jù)源的增加，人工解譯無法滿足實時性的要求［1］。并且SAR 圖像會因為目標姿態(tài)、俯仰角度、周圍環(huán)境的微小變化而發(fā)生較大的變化，人工解譯的準確率無法保證。所以，迫切需要發(fā)展SAR圖像的自動目標檢測。

對于SAR 圖像目標檢測，已經(jīng)發(fā)展了許多針對SAR 圖像特點的目標檢測方法，主要可以分為以下3 類：第1，基于統(tǒng)計模型的恒虛警率（Constant False-Alarm Rate，CFAR）目標檢測算法［2-5］，這類算法簡單快速、實時性較強，但是要求已知背景雜波模型的分布。第2，基于圖像特征的目標檢測算法，圖像特征可以是人為設(shè)計的特征，如擴展分形特征［6］、SIFT［7-8］等，也可以是通過算法學(xué)習(xí)得到，如神經(jīng)網(wǎng)絡(luò)［9-10］、稀疏表示［11-12］等。第3，基于相干性的目標檢測法［13］，這類算法利用SAR 相干成像系統(tǒng)的特點，但是相干圖的獲取較為復(fù)雜。目前SAR 圖像目標檢測亟待解決的問題主要有兩個：第1，檢測算法的虛警率和漏警率都比較高。第2，只能對單一的目標進行檢測，無法進一步區(qū)分目標的類別。

近幾年來，基于深度學(xué)習(xí)的目標檢測算法在光學(xué)圖像和視頻的檢測領(lǐng)域中表現(xiàn)出了優(yōu)異的性能。基于深度學(xué)習(xí)的目標檢測算法主要分為兩類，一類是以Faster-RCNN［14］為代表的區(qū)域建議的目標檢測框架；另一類是以SSD［15］為代表的將目標檢測問題轉(zhuǎn)化為回歸問題的目標檢測框架。將基于深度學(xué)習(xí)的目標檢測框架用于SAR 圖像的目標檢測對于提高SAR 圖像目標檢測的精度和實現(xiàn)多種目標檢測具有重要的意義。

本文首先比較了基于區(qū)域建議的目標檢測框架Faster-RCNN 和無需區(qū)域建議的目標檢測框架SSD 對SAR 圖像的目標檢測精度和速度；然后通過實驗說明預(yù)訓(xùn)練模型對于目標檢測框架的影響；最后研究了零均值規(guī)整化目標提升檢測性能。

1 基于深度學(xué)習(xí)的目標檢測框架

1.1 Faster-RCNN 目標檢測框架

為了進一步提高目標檢測算法的速度和精度，Ren Shaoqing 等在R-CNN 和Fast RCNN 的基礎(chǔ)上提出了Faster-RCNN 目標檢測框架，將基于區(qū)域建議的目標檢測的4 個基本步驟（候選區(qū)域生成、特征提取、分類和Bounding Box 回歸）統(tǒng)一到一個深度網(wǎng)絡(luò)框架之內(nèi)。相較于Fast R-CNN，F(xiàn)aster-RCNN的準確率略有提高，但是檢測速度卻提高了10 倍。Faster-RCNN 目標檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

Faster-RCNN 候選區(qū)域的生成使用了區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN） 代替了之前Fast R-CNN 的選擇性搜索（Selective Search，SS）。創(chuàng)造性地采用RPN 產(chǎn)生建議區(qū)域，并且和目標檢測網(wǎng)絡(luò)共享卷積網(wǎng)絡(luò)，使得Faster-RCNN 的候選區(qū)域由Fast R-CNN 的2 000 個減少至300 個，并且候選區(qū)域的質(zhì)量也有著本質(zhì)的提高。其具體算法流程如下：

步驟1 輸入圖像通過共享卷積層，得到共享的特征圖。

步驟2 將共享特征圖分別輸入到RPN 網(wǎng)絡(luò)和特有卷積層。

步驟3 共享特征圖通過RPN 網(wǎng)絡(luò)產(chǎn)生區(qū)域位置和該區(qū)域分屬于前景和背景的概率，并且對概率采用非極大值抑制，將概率最高的300 個區(qū)域位置建議給RoI 池化層。

步驟4 共享卷積層通過特有卷積層得到更高維的特征圖后輸入RoI 池化層。

步驟5 RoI 池化層結(jié)合步驟3 生成的建議區(qū)域和步驟4 生成的高維特征圖，提取對應(yīng)建議區(qū)域的高維特征。

步驟6 將提取的高維特征送入全連接層，最后輸出該區(qū)域的目標分類以及回歸后的邊界框位置。

圖1 Faster-RCNN 框架示意圖

1.2 SSD 目標檢測框架

無需區(qū)域建議的深度學(xué)習(xí)目標檢測框架主要代表有YOLO［16］和SSD，這些方法將目標分類和邊界框回歸合二為一，所以檢測速度得到了較大的提升。為了克服YOLO 精度低的問題，Liu Wei 提出Single Shot Detector（SSD）目標檢測框架，實現(xiàn)了實時的目標檢測。相較于Faster-RCNN，精度相當，而速度提升了約6 倍。SSD 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 SSD 框架示意圖

SSD 由兩部分組成，一部分是基礎(chǔ)網(wǎng)絡(luò)，用來提取輸入圖像的特征圖；另一部分是附加網(wǎng)絡(luò)，在對基礎(chǔ)網(wǎng)絡(luò)所提取的特征圖進行卷積提取更高級的特征的同時在不同尺度的特征圖上進行目標的分類和邊界框位置的回歸。不同尺度的特征圖上的感受也不同，有利于不同大小目標的檢測。不同尺度特征圖所體現(xiàn)目標特征不同，有利于目標的精確分類。SSD 目標檢測框架的算法流程如下：

步驟1 首先使用常用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如VGG-16 作為基礎(chǔ)網(wǎng)絡(luò)來提取輸入圖像的特征圖。

步驟2 在基礎(chǔ)網(wǎng)絡(luò)所提取特征圖的基礎(chǔ)上通過附加網(wǎng)絡(luò)得到不同尺度的特征圖。

步驟3 在不同尺度的特征圖上逐個像素使用不同長寬比的方框進行目標位置和特征的提取。

步驟4 對所有不同尺度特征圖的的每個像素位置所提取的位置信息和目標特征分別通過卷積神經(jīng)網(wǎng)絡(luò)進行邊界框的回歸和目標的分類。

2 針對SAR 圖像的檢測框架研究

2.1 預(yù)訓(xùn)練模型

在機器學(xué)習(xí)領(lǐng)域，遷移學(xué)習(xí)是指將從一個環(huán)境中學(xué)到的知識用來幫助新環(huán)境中的學(xué)習(xí)任務(wù)，也就是將已經(jīng)訓(xùn)練好的模型參數(shù)遷移到新的數(shù)據(jù)集。目前多數(shù)的基于深度學(xué)習(xí)的目標檢測框架都是用遷移學(xué)習(xí)確保網(wǎng)絡(luò)訓(xùn)練的收斂或避免數(shù)據(jù)量過小而引起的過擬合。Faster-RCNN 和SSD 目標檢測框架都使用在ImageNet 數(shù)據(jù)庫上訓(xùn)練好的模型參數(shù)來初始化新的數(shù)據(jù)集上的模型參數(shù)。

但使用預(yù)訓(xùn)練模型也帶來了一定的局限性：第1，模型的結(jié)構(gòu)設(shè)計不靈活，模型結(jié)構(gòu)必須要與預(yù)訓(xùn)練模型結(jié)構(gòu)一致；第2，預(yù)訓(xùn)練模型是進行分類任務(wù)訓(xùn)練得到的模型，分類和目標檢測有著不同的目標函數(shù)，這會導(dǎo)致與最佳檢測的結(jié)果有所偏差；第3，運用領(lǐng)域的局限性，由于預(yù)訓(xùn)練模型是在光學(xué)圖像上訓(xùn)練得到的，將其運用到SAR 圖像或者醫(yī)學(xué)圖像無法取得理想的結(jié)果。

2.2 零均值規(guī)整化操作

圖像的像素值位于0～255 之間，但是神經(jīng)網(wǎng)絡(luò)權(quán)重的初始化策略都是隨機的，最常見的神經(jīng)元表示為

式中，ReLU 表示的是整流線性單元（Rectified Linear Units，ReLU）激活函數(shù)，W 為權(quán)重參數(shù)，b 為偏置。

該神經(jīng)元的操作是對的兩側(cè)的數(shù)據(jù)采取不同的操作方式。在二維的情況下Wx+b 簡化為直線y=ax+b，高維情況下表現(xiàn)為超平面。假設(shè)在二維的情況下，圖像只表示在第1 象限，而隨機初始化的ax+b不對圖像進行分割的情況下就沒有意義，需要多次迭代調(diào)整才能對圖像進行有效的分割。維數(shù)越高，不進行零均值規(guī)整化的圖像數(shù)據(jù)所占據(jù)的數(shù)據(jù)空間區(qū)域越小，隨機初始化的Wx+b 對圖像數(shù)據(jù)分割的概率越小。

針對SAR 圖像的特點，在MSTAR 數(shù)據(jù)庫的訓(xùn)練集上求取了像素的均值，輸入圖像進行減去均值的操作后，再進行框架的訓(xùn)練或檢測。實驗結(jié)果表明減去圖像均值的預(yù)處理操作有助于框架提高收斂速度和精度。

3 實驗

3.1 實驗設(shè)置

3.1.1 實驗平臺參數(shù)

計算機配置： 處理器為英特爾 Xeon E5-2620v3，主頻2.4 GHz，顯卡為NVIDIA GeForce GTX1080Ti，顯存為12 GB，系統(tǒng)為Ubuntu 16.04。

3.1.2 數(shù)據(jù)集的制作

實驗采用美國國防研究規(guī)劃局和空軍研究實驗室聯(lián)合資助的運動和靜止目標獲取與識別數(shù)據(jù)庫進行實驗，SAR 圖片大小為128×128 像素點，圖像的分辨率為0.3 m×0.3 m。選取在15°和17°俯仰角下10 類目標的SAR 圖像數(shù)據(jù)，共5 652 張，包含了2S1、BMP2、BRDM2、BTR60、BTR70、D7、T62、T72、ZIL131 和ZSU234。

對每張目標切片內(nèi)的目標進行位置和類別的標注，隨機抽取2 826 張作為訓(xùn)練集，其余的圖像作為測試集。

3.1.3 評價指標

目標檢測的評價指標主要是評價目標檢測框架的檢測速度和精度。檢測速度由每秒可以檢測的圖片數(shù)來衡量目標檢測框架的實時性。檢測精度由平均準確率（Average Precision，AP）來衡量，平均準確率的計算公式如下。

式中，AP 就是平均準確率，P（R）是目標檢測框架對某個目標的準確率-召回率曲線，P 表示準確率，R代表召回率。

3.1.4 實驗過程

首先，在VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)預(yù)訓(xùn)練模型的基礎(chǔ)上分別使用Faster-RCNN 框架和SSD 框架，在SAR圖像數(shù)據(jù)集上進行訓(xùn)練，對比訓(xùn)練的結(jié)果。其次，舍棄預(yù)訓(xùn)練模型，對比Faster-RCNN 框架和SSD 框架在SAR 圖像數(shù)據(jù)集上進行訓(xùn)練結(jié)果。最后，在不使用預(yù)訓(xùn)練模型的基礎(chǔ)上，研究零均值規(guī)整化對于SAR 圖像目標檢測結(jié)果的影響。

3.2 實驗結(jié)果分析

3.2.1 Faster-RCNN 框架與SSD 框架的比較

在使用預(yù)訓(xùn)練模型的情況下，F(xiàn)aster-RCNN 和SSD 目標檢測框架在MSTAR 數(shù)據(jù)庫所制作的數(shù)據(jù)集上訓(xùn)練后的檢測結(jié)果如表1 所示。

表1 Faster-RCNN 和SSD 檢測精度對比

實驗結(jié)果顯示，F(xiàn)aster-RCNN 目標檢測的精度要高于SSD。但是Faster-RCNN 的檢測速度為16 張/s，而SSD 的檢測速度為31 張/s，約為Faster-RCNN目標檢測框架速度的兩倍。但兩者的檢測精度相較于其在光學(xué)目標的檢測精度都有待提高。檢測效果圖如圖3、圖4 所示。

圖3 Faster-RCNN 目標檢測效果圖

3.2.2 預(yù)訓(xùn)練模型對于目標檢測框架的影響

由于在光學(xué)圖像上訓(xùn)練得到的預(yù)訓(xùn)練模型會限制SAR 圖像目標檢測的精度。在不使用預(yù)訓(xùn)練模型進行框架的訓(xùn)練時，實驗結(jié)果表明基于區(qū)域建議的Faster-RCNN 目標檢測框架無法收斂，SSD 目標檢測框架使用預(yù)訓(xùn)練模型前后的檢測精度見表2。

由實驗可得，不使用預(yù)訓(xùn)練模型時，F(xiàn)aster-RCNN 因為RoI 池化層阻礙了梯度的反向傳播而導(dǎo)致參數(shù)無法有效地更新，所以無法收斂。對于SSD，舍棄預(yù)訓(xùn)練模型可以少量提高SAR 圖像目標檢測的精度。舍棄預(yù)訓(xùn)練模型更重要的意義在于沒有預(yù)訓(xùn)練模型的約束，擴展了目標檢測框架運用領(lǐng)域的同時，也使得網(wǎng)絡(luò)結(jié)構(gòu)更具靈活性。

圖4 SSD 目標檢測效果圖

表2 預(yù)訓(xùn)練模型對SSD 檢測精度的影響

3.2.3 零均值規(guī)整化對于目標檢測框架的影響

在不使用預(yù)訓(xùn)練模型的條件下，零均值規(guī)整化對于SAR 圖像目標檢測精度和速度的影響如下頁表3 和圖5 所示。

圖5 的橫坐標是迭代次數(shù)，縱坐標為目標檢測框架在訓(xùn)練集上的損失函數(shù)的值，紅色曲線表示的是零均值規(guī)整化后的損失曲線，藍色表示的是沒有零均值規(guī)整化操作的損失曲線。零均值規(guī)整化操作前后，SSD 目標檢測框架都能快速收斂，通過將迭代次數(shù)0～300 次的過程放大后可以發(fā)現(xiàn)進行零均值規(guī)整化操作可以提高收斂速度和檢測的精度。

表3 零均值規(guī)整化對于目標檢測框架的影響

圖5 零均值規(guī)整化

4 結(jié)論

本文對Faster RCNN 和SSD 目標檢測框架在SAR 圖像目標檢測方面的應(yīng)用進行了實驗研究。并通過結(jié)合SAR 圖像自身的特點對目標檢測框架進行改進研究，進行了相關(guān)的對比實驗。主要得到以下結(jié)論：

1）在使用預(yù)訓(xùn)練的模型情況下，F(xiàn)aster-RCNN的SAR 圖像目標檢測的精度要高于SSD，但SSD 的檢測速度高于Faster-RCNN。

2）不使用預(yù)訓(xùn)練模型可以提高SAR 圖像目標檢測的精度，使得網(wǎng)絡(luò)結(jié)構(gòu)可以多樣化。但是基于區(qū)域建議的Faster RCNN 目標檢測框架無法收斂。

3）在不使用預(yù)訓(xùn)練模型的情況下，針對SAR圖像的零均值規(guī)整化操作可以提高SSD 目標框檢測架的收斂速度和精度。

4）基于深度學(xué)習(xí)的目標檢測框架在SAR 圖像目標檢測方面有著良好的表現(xiàn)，針對SAR 圖像特點的優(yōu)化可以進一步提高檢測性能，可有效運用于SAR 圖像的多目標檢測。