復雜場景下深度表示的SAR船舶目標檢測算法

袁國文，張彩霞，楊 陽，張文生，白江波

1.佛山科學技術學院 機電工程與自動化學院，廣東 佛山 528000

2.中國科學院 自動化研究所，北京 100080

3.廣東省智慧城市基礎設施健康監(jiān)測與評估工程技術研究中心，廣東 佛山 528000

我國海域遼闊，海洋資源豐富。近代以來，海域更是外國軍事侵入的重點區(qū)域，SAR圖像的檢測與解譯是海域軍事監(jiān)視與民事援助的重要組成部分，由于其自身成像時的噪聲干擾以及目標形狀尺寸的多樣性，增加了SAR目標的檢測難度。SAR目標檢測分為傳統(tǒng)方法與深度學習方法，傳統(tǒng)方法一般分為3部分，檢測窗口設計、特征選擇、分類器設計[1]，其中應用最普遍的是基于恒虛警率的CFAR（constant false-alarm rate）系列算法[2]，其利用艦船與海洋雜波統(tǒng)計特征的差異性，對艦船目標進行檢測分析，在當代SAR圖像獲取技術日益成熟的情況下，計算復雜且人工參與度較高的傳統(tǒng)目標檢測方法已經(jīng)無法滿足人們對SAR圖像處理的需求。

隨著深度學習的再次興起，專家學者們已經(jīng)構建了一套較成熟的可見光目標檢測框架，其中依托于卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）的檢測方法突出了其優(yōu)勢，根據(jù)是否單獨生成特征候選區(qū)域，分為一階段與二階段檢測器，一階段檢測器以SSD（single shot multibox detector）、RetinaNet、YOLO（you only look once）等網(wǎng)絡為代表，二階段檢測器以R-CNN、Faster R-CNN等網(wǎng)絡為代表[3]。與此同時，一部分專家學者將卷積神經(jīng)網(wǎng)絡應用到SAR圖像目標檢測的過程中，2015年，史丹榮[4]在碩士論文中利用深度學習的限制玻爾茲曼機（restricted Boltzmann machine，RBM）與CNN網(wǎng)絡分別進行在SAR艦船圖像上的目標檢測實驗，并分析了深度學習特別是CNN網(wǎng)絡在SAR圖像目標檢測取得優(yōu)勢的原因。2016年，杜蘭等人[5]在SAR圖像訓練樣本不足情況下，在已有完備數(shù)據(jù)集中獲取CNN分類模型的初始化參數(shù)，并對其訓練數(shù)據(jù)進行補充，借助“四步訓練法”獲得SAR目標檢測模型，實驗證明了其優(yōu)點。田壯壯等人[6]改進CNN網(wǎng)絡，將類別可分性度量加入誤差代價函數(shù)，對特征分類使用支持向量機（support vector machine，SVM），在著名的美國運動和靜止目標獲取與識別（moving and stationary target acquisition and recognition，MSTAR）SAR數(shù)據(jù)集中進行驗證，在3類與10類目標數(shù)目情況下，平均識別率均達到91%以上。史鶴歡等人[7]利用PCA網(wǎng)絡進行CNN網(wǎng)絡預訓練，利用概率最大化下采樣增加魯棒性，最后在CNN網(wǎng)絡中對特征進行局部對比度標準化，改進算法在MSTAR數(shù)據(jù)集中取得96.97%的識別率，并實驗驗證了魯棒性能的提升。2017年，徐豐等人[8]將改進的CNN應用MSTAR數(shù)據(jù)，對于10類模板取得了平均99%的識別準確率，并在全極化SAR圖像地物分類中引入復數(shù)深度卷積網(wǎng)絡（complex-valued-CNN，CV-CNN），在Flevoland地區(qū)全極化L波段的數(shù)據(jù)中，使15類地物平均分類精度達到了95.97%。Kang等人[9]將Faster R-CNN與CFAR算法相結合，多次評估檢測網(wǎng)絡中分類得分相對較低的邊界框，通過提高小目標檢測精度來提高整體的檢測精度。李君寶等人[10]針對MSTAR數(shù)據(jù)集，使用流行的CNN、Fast RCNN以及Faster RCNN等模型進行實驗，驗證了CNN網(wǎng)絡的優(yōu)越性并為以后的研究提供基準。2018年，李健偉等人[11]提出基于PASCAL VOC的SSDD數(shù)據(jù)集，用于SAR艦船目標檢測，并將遷移學習、損失函數(shù)設計，特征聚合等細節(jié)加入SAR目標檢測的方法中，通過對比實驗，驗證其方法在精度與檢測速度方面均有提升。Bentes等人[12]針對貨物、油輪、風車、平臺和港口5個類別的公共數(shù)據(jù)集提出多輸入分辨率的CNN模型，驗證了CNN網(wǎng)絡的優(yōu)越性。

根據(jù)上述文獻的閱讀分析發(fā)現(xiàn)，困難樣本的特征有效提取問題，是提升樣本的最終檢測精度的重要方面，本文使用NAS-FPN[13]作為特征提取網(wǎng)絡，通過解決FPN多尺度特征金字塔融合的問題來獲取圖像的有效特征，最終通過與一階段檢測器Libra R-CNN[14]網(wǎng)絡相結合的實驗結果證明了融合后網(wǎng)絡的有效性。

1 Libra R-CNN網(wǎng)絡模型

SAR在成像過程中由于自身的成像模式易產(chǎn)生斑點噪聲影響，以及本身分辨率問題，均對目標檢測模型的準確率帶來危害[4]，因此應針對訓練過程消弭或減弱此種問題。Libra R-CNN網(wǎng)絡通過分析現(xiàn)有檢測器模型，在采樣、特征、目標水平，分別提出一種平衡方法，減輕對象檢測訓練過程中的失衡，實現(xiàn)最佳訓練并充分利用模型體系結構的潛力。如圖1所示[14]，Libra R-CNN網(wǎng)絡同樣利用CNN[15]網(wǎng)絡從圖像中提取特征，為了解決隨機采樣導致的困難樣本提取問題，在（a）處提出IoU平衡采樣（IoU-balanced sampling）方法；為了更優(yōu)的同時使用特征網(wǎng)絡中的高層與淺層信息，在（b）處使用平衡特征金字塔（balanced feature pyramid）方法；最后為了平衡分類與定位之間的相互影響，在（c）處提出平衡L1損失（balanced L1 loss）。

圖1 Libra R-CNN網(wǎng)絡結構Fig.1 Libra R-CNN network structure

（a）IoU平衡采樣

在隨機采樣中，從M個對應的候選對象中抽取N個負樣本的概率為：

目標檢測時，每個樣本所做的貢獻度不同，為了更多地關注貢獻度較大的樣本——困難樣本，提高困難樣本被抽中的概率，根據(jù)IoU值將采樣間隔平均分為K個區(qū)間，并將N個所需的負樣本平均分配到每個區(qū)間，然后，從中統(tǒng)一選擇樣本。此時獲得了IoU平衡采樣下的選定概率：

（b）平衡特征金字塔

以FPN[16]網(wǎng)絡為基礎，使用相同的深度集成平衡語義特征來增強多級特征，對四個水平的特征進行縮放尺寸，整合，融合特征信息，最后再根據(jù)原特征圖尺寸，增強原特征。過程如圖2[14]所示。具體步驟如下：

圖2 平衡特征金字塔Fig.2 Balanced feature pyramid

步驟1利用插值法和最大池化法，將各級特征圖{C2，C3，C4，C5}變?yōu)榕cC4相同的尺寸。

步驟2將第一步特征整合為平衡的語義特征。

步驟3利用高斯非局部注意力機制，完善平衡的語義特征，增加特征差異度。

步驟4使用相同但相反的步驟重新縮放獲得的特征，增強原始特征。

（c）平衡L1損失

從Fast R-CNN[17]開始，目標檢測中的分類和回歸都在多任務損失函數(shù)中處理，損失函數(shù)為：

其中，Lclc和Lloc分別代表分類和定位損失，p和u代表Lcls中的預測值與實際值，tu是分類u相應的回歸結果，v是回歸目標。Balanced L1 Loss是傳統(tǒng)smoothL1loss[18]的改進，對損失中關鍵點的回歸梯度進行操作，定義Lb(x)：

其中定義：

通過調(diào)節(jié)α、γ的值來實現(xiàn)分類與回歸損失函數(shù)之間的平衡。

2 網(wǎng)絡改進

通過閱讀論文發(fā)現(xiàn)，針對噪聲較多的SAR圖像，較全面地兼顧圖像語義與細節(jié)特征，找到具有代表性的有效特征對人為設置的網(wǎng)絡來說是比較困難的，NAS-FPN網(wǎng)絡是一種借助神經(jīng)架構搜索（NAS）[19]的特征金字塔網(wǎng)絡，與原先的FPN網(wǎng)絡相比，NAS-FPN借鑒分類網(wǎng)絡架構搜索方法NASNet，選擇以RNN作為控制器的強化學習搜索方法來構建特征層集合，進行特征融合構造新特征層，搜索終止條件為填滿輸出金字塔的每一層。具體步驟如下：

（1）從特征層集合中選擇一個特征層作為輸入層。

（2）從特征層集合選擇另一個特征層作為第二個輸入層。

（3）確定輸出層的分辨率。

（4）確定特征層融合操作。

（5）將融合后的輸出層加入原有特征層集合中，擴大特征層集合。

（6）遍歷（1）~（5），直至填滿特征層網(wǎng)絡。

本文選用在coco2017數(shù)據(jù)集訓練成功的7層NASFPN網(wǎng)絡，結果如圖3[13]，其中GP為全局池化；R-C-B為ReLU-Conv-BatchNorm，輸入層用P3~P7表示，輸出層用P3~P7表示。

圖3 NAS-FPN網(wǎng)絡Fig.3 NAS-FPN network

3 實驗結果

3.1 數(shù)據(jù)集

為了驗證改進算法的有效性，本文選用中科院制作的SAR-Ship-Dataset[20]，由102張Gaofen-3和108張Sentinel-1圖像切片而成，圖片大小為256×256，總數(shù)目43 819，按VOC格式標注，按照7∶2∶1劃分數(shù)據(jù)集，數(shù)據(jù)集樣本如圖4所示。

圖4 數(shù)據(jù)集樣本Fig.4 Sample data set

3.2 模型訓練

本文算法基于mmdetection[21]框架改進而來，主要包括NAS-FPN與Libra R-CNN網(wǎng)絡及其融合網(wǎng)絡，實驗在Ubuntu 16.04.6上運行，其中GPU選擇為Nvidia1080Ti，CUDA設置為10.0。NAS-FPN與Libra R-CNN網(wǎng)絡參數(shù)設置相同，以IOU大于0.5為閾值評估得分，訓練周期為12，與mmdetection原有模型Libra R-CNN網(wǎng)絡相比，本文網(wǎng)絡主要改進有以下幾點：

（1）圖像尺寸均固定為640×640。

（2）優(yōu)化器由SGD替換為Adam優(yōu)化器，學習率為0.000 01。

（3）通過前期實驗結果將批處理數(shù)設置為4。

（4）特征提取網(wǎng)絡由FPN替換為NAS-FPN。

（5）根據(jù)前期實驗結果不進行圖片翻轉。

最終模型架構如圖5所示。

圖5 libra_rcnn-nasfpn網(wǎng)絡Fig.5 libra_rcnn-nasfpn network

3.3 實驗結果分析

目標檢測過程中，檢測準確性的評估指標多數(shù)選擇為平均準確率（map）。本文首先對NAS-FPN算法進行實驗，然后將NAS-FPN網(wǎng)絡與平衡金字塔網(wǎng)絡結合進行實驗，接著將NAS-FPN網(wǎng)絡與平衡L1損失結合進行實驗，實驗結果如表1所示。

表1 子網(wǎng)絡實驗結果Table 1 Subnet experimental results

分析表1發(fā)現(xiàn)，通過添加Balanced Feature Pyramid操作，平衡各級原特征層，增強原有特征，使目標檢測平均精度提升了0.5個百分點，而Balanced L1 Loss操作，通過平衡分類與回歸損失，為目標檢測平均精度提升奉獻了1.4個百分點。最終不同模型下平均準確率如表2所示。

表2 不同模型的實驗結果Table 2 Experimental results of different models

表2中SSD-300與SSD-512為SAR-Ship-Dataset數(shù)據(jù)集提出時的檢測精度，通過比較發(fā)現(xiàn)，將Libra R-CNN網(wǎng)絡與NAS-FPN結合后的網(wǎng)絡平均準確率與NAS-FPN網(wǎng)絡相比提高4.4個百分點，主要原因是因為添加的3種訓練過程中的平衡操作，有效地提高了困難樣本的檢測精度，與SSD相比分別提高2.1個百分點和1.0個百分點，與Libra R-CNN網(wǎng)絡相比提高0.7個百分點，綜合來看，本文的方法有效地提升了SAR目標檢測的精度。

部分實驗結果如圖6所示：其中上部分為NAS-FPN網(wǎng)絡結果，下部分為本文網(wǎng)絡融合后的實驗結果，從相對應的圖像中可以發(fā)現(xiàn)，第二行的得分明顯高于第一行，佐證了融合后目標檢測網(wǎng)絡的有效性。

圖6 實驗結果對照圖Fig.6 Comparison chart of experimental results

4 結語

本文通過研讀SAR目標檢測相關文獻，針對SAR圖像由于困難樣本提取影響目標檢測精度問題，提出一種將NAS-FPN網(wǎng)絡與Libra R-CNN網(wǎng)絡融合后的SAR目標檢測算法，同時在SAR-Ship-Dataset數(shù)據(jù)集中進行了對比實驗，實驗結果表明，融合后的網(wǎng)絡與單獨的NAS-FPN網(wǎng)絡或Libra R-CNN網(wǎng)絡相比，均取得了檢測精度的提升，證明了深度學習特別是卷積網(wǎng)絡在SAR目標檢測中的有效性，在下一步的研究工作中，NASFPN網(wǎng)絡將會在更多的其他網(wǎng)絡模型中使用，以便驗證其通用性。