基于RetinaNet的SAR圖像艦船目標(biāo)檢測(cè)

劉潔瑜，趙彤?，劉敏

（1.火箭軍工程大學(xué) 導(dǎo)彈工程學(xué)院，陜西 西安710025；2.湖南大學(xué) 電氣與信息工程學(xué)院，湖南 長沙410082）

SAR圖像是通過高頻率的電磁波與合成孔徑原理相結(jié)合對(duì)一片區(qū)域進(jìn)行主動(dòng)感知生成的高分辨率圖像，其成像受外界環(huán)境影響較小，可以主動(dòng)對(duì)目標(biāo)完成全天候和遠(yuǎn)距離的偵查[1].因此，基于SAR圖像的目標(biāo)檢測(cè)在敵艦偵察領(lǐng)域得到了廣泛的應(yīng)用.傳統(tǒng)的SAR目標(biāo)檢測(cè)一般采用恒虛警率檢測(cè)算法，其采用檢測(cè)器統(tǒng)計(jì)SAR圖像中的每個(gè)像素點(diǎn)周圍雜波的分布特性，自適應(yīng)生成檢測(cè)閾值，并將目標(biāo)像素點(diǎn)從背景中提取出來，而后通過形態(tài)學(xué)處理和負(fù)樣本剔除等操作得到目標(biāo)中心，進(jìn)而完成檢測(cè).此類方法需根據(jù)圖像特征，人為地設(shè)定檢測(cè)器和約束條件，因此魯棒性和實(shí)用性較差[2].尤其在艦船檢測(cè)中，由于海洋潮汐等背景雜波的干擾，該類算法的檢測(cè)精度會(huì)受到較大影響.

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的深度學(xué)習(xí)目標(biāo)檢測(cè)算法成為了研究熱點(diǎn).Girshick等人[3]提出了基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法，使得基于深度學(xué)習(xí)的目標(biāo)檢測(cè)相對(duì)于傳統(tǒng)方法在精度和速度上取得巨大突破，在PSCAL VOC 2012數(shù)據(jù)集上平均檢測(cè)精度達(dá)到了53.3%，開啟了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)的熱潮.之后，陸續(xù)出現(xiàn)了SPPNet[4]、Faster R-CNN[5]、Faster RCNN[6]、YOLO[7-9]、SSD[10]等算法.到目前為止，目標(biāo)檢測(cè)已經(jīng)被構(gòu)建為分類和回歸的問題來進(jìn)行解決--以Faster R-CNN為代表的兩階段方法和以SSD和YOLO為代表的單階段方法，其中Faster R-CNN準(zhǔn)確率更高，而SSD的速度占優(yōu).之后，Lin等[11]認(rèn)為單階段算法精度不及兩階段算法的本質(zhì)原因是其正負(fù)樣本的不均衡，并為此提出了Focal loss損失函數(shù)使得單階段的檢測(cè)網(wǎng)絡(luò)在精度上有了很大的提升，其提出的RetinaNet也成為了當(dāng)下最佳的檢測(cè)網(wǎng)絡(luò)方法之一.

得益于深度學(xué)習(xí)算法的發(fā)展，SAR圖像目標(biāo)檢測(cè)也迎來了很大變革.李健偉等[12]構(gòu)建了國內(nèi)首個(gè)SAR圖像艦船公開數(shù)據(jù)集SSDD并用其訓(xùn)練Faster R-CNN網(wǎng)絡(luò)，通過對(duì)比傳統(tǒng)方法，證明了深度學(xué)習(xí)算法的優(yōu)越性.Shahzad等人[13]利用級(jí)聯(lián)的全卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了高分辨率SAR圖像中對(duì)建筑物的有效檢測(cè).然而，基于深度學(xué)習(xí)的SAR圖像檢測(cè)中的各類算法在精度和速度上還有改進(jìn)空間.

本文基于現(xiàn)階段較為先進(jìn)的RetinaNet檢測(cè)算法進(jìn)行改進(jìn)，結(jié)合SAR圖像本身信息相對(duì)RGB圖像較少的特點(diǎn)，在更底層的圖像特征層上進(jìn)行處理，融合了基礎(chǔ)提取網(wǎng)絡(luò)的多層特征信息；之后在多尺度的特征層對(duì)預(yù)選框進(jìn)行回歸.采用SSDD數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并通過樣本增強(qiáng)和遷移學(xué)習(xí)的方法提升算法的魯棒性、收斂速度.最終通過實(shí)驗(yàn)與其他典型的深度學(xué)習(xí)算法進(jìn)行對(duì)比，結(jié)果表明，本算法具有更好的效果.

1 算法結(jié)構(gòu)

1.1 特征提取網(wǎng)絡(luò)

本算法的特征提取部分與RetinaNet相同，采用了深度殘差網(wǎng)（ResNet101）[14].一般來說，神經(jīng)網(wǎng)絡(luò)的性能隨著網(wǎng)絡(luò)深度的增加而增加，然而如果簡單地增加深度，會(huì)導(dǎo)致梯度彌散或梯度爆炸.針對(duì)該問題，解決的方法是采用relu激活函數(shù)和中間層的正則化（Batch Normalization）[15]，這樣可以訓(xùn)練幾十層的網(wǎng)絡(luò).但之后便會(huì)出現(xiàn)模型退化問題，即使深度繼續(xù)增加，網(wǎng)絡(luò)的準(zhǔn)確率也不會(huì)上升甚至出現(xiàn)下降.而ResNet采用跨層連接的思想使用恒等映射直接將前一層輸出傳到后面，即使網(wǎng)絡(luò)深度增加，也不會(huì)使網(wǎng)絡(luò)的準(zhǔn)確度下降.其網(wǎng)絡(luò)結(jié)構(gòu)如圖1（a）所示，其中每組括號(hào)代表一個(gè)結(jié)構(gòu)塊（block），其結(jié)構(gòu)如圖1（b）所示（以Conv3為例）.整個(gè)網(wǎng)絡(luò)包含101個(gè)卷積層（這里省略了最后的全連接層）.每個(gè)block中包含3個(gè)卷積層，其參數(shù){n×n，m}中，n代表卷積核的大小，m代表卷積核的數(shù)量.Conv1中的stride為卷積操作的步長，在每個(gè)block中第一個(gè)卷積層的步長為2，其余步長均為1，因此在每一個(gè)block結(jié)構(gòu)中，特征圖的尺寸會(huì)下降一半.Conv2中的maxpool代表最大池化操作，其池化單元大小為3×3，步長為2.

1.2 特征融合結(jié)構(gòu)

圖1 特征提取網(wǎng)絡(luò)參數(shù)Fig.1 Feature extraction network parameter

傳統(tǒng)的RetinaNet采用了特征金字塔（Feature Pyramid Networks，F(xiàn)PN）[16]的結(jié)構(gòu)進(jìn)行特征融合，其融合結(jié)構(gòu)如圖2所示.Conv5_9層首先經(jīng)過1×1的卷積生成Conv6層，而后經(jīng)過線性插值上采樣得到和Conv4_69同樣的尺度，之后再與Conv4_69經(jīng)過1×1的卷積后進(jìn)行融合生成Conv7.同樣，Conv7經(jīng)過上采樣生成和Conv3_12相同的尺度后與經(jīng)過1×1的卷積的Conv3_12融合生成Conv8.在檢測(cè)過程中，淺層的細(xì)節(jié)信息更有利于目標(biāo)的定位，而高層的語義信息則更有益于目標(biāo)的識(shí)別.FPN巧妙地將ResNet淺層的細(xì)節(jié)信息和高層的語義信息結(jié)合起來，以更好地對(duì)局部信息進(jìn)行約束.然而在結(jié)合的過程中，F(xiàn)PN僅僅將高層信息上采樣后與淺層信息同緯度相加.這樣的結(jié)合方式相對(duì)來說較為粗糙，忽略了特征圖經(jīng)雙線性插值引入的結(jié)構(gòu)誤差.同時(shí)，由于SAR圖像本身僅包含一個(gè)維度的有效信息，對(duì)誤差的影響更加敏感，因此更有效地融合特征信息是提高檢測(cè)效率的關(guān)鍵.

圖2 ResNet的FPN結(jié)構(gòu)Fig.2 FPN structure in ResNet

本文提出了一種新的特征融合網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3所示.Fusion1和Fusion2為特征融合單元，F(xiàn)usion1以適當(dāng)?shù)姆绞饺诤?層不同表征能力的特征圖，提取了更多Sar圖像的潛在特征，生成更準(zhǔn)確的特征金字塔.Fusion2將金字塔相鄰的不同尺度的特征圖進(jìn)行融合，建立了深淺層之間的耦合關(guān)系.其結(jié)構(gòu)參數(shù)分別如表1（以Conv6和Conv9的生成為例）和表2所示.Fusion1對(duì)ResNet的Conv2、Con3、Conv4和Conv5層后3個(gè)block分別進(jìn)行1×1同緯度的卷積運(yùn)算，而后并聯(lián)在一起并再次通過1×1的卷積對(duì)有效信息進(jìn)行融合，生成了Conv6、Conv7、Conv8和Conv9.這4個(gè)特征信息更豐富和準(zhǔn)確的特征層，感受野逐漸變大，特征的細(xì)粒度也逐漸減小.其中Conv6是從Conv2特征圖中融合得到，包含更多的目標(biāo)細(xì)節(jié)信息，因此其對(duì)小目標(biāo)更敏感，對(duì)目標(biāo)的定位更有效.Fusion2結(jié)構(gòu)在新的金字塔結(jié)構(gòu)上建立了深層特征到淺層特征的鏈接.對(duì)小尺寸的特征圖首先進(jìn)行雙線性插值，而后通過1×1卷積跨通道地整合信息并降低特征層維度，通過3×3的卷積減少特征圖的結(jié)構(gòu)誤差，最后與經(jīng)過1×1卷積的低維特征圖融合.融合過程采用相加的方式，3×3的卷積是為消除混疊效應(yīng).相比于原始網(wǎng)絡(luò)的FPN結(jié)構(gòu)，本網(wǎng)絡(luò)的輸出層提取了更淺層的特征信息，各特征圖的尺度為原輸出特征圖的4倍.

表1 Fusion1的融合結(jié)構(gòu)Tab.1 Fusion structure of Fusion1

圖3 新的特征融合結(jié)構(gòu)Fig.3 New feature fusion structure

表2 Fusion2的融合結(jié)構(gòu)Tab.2 Fusion structure of Fusion2

1.3 邊框回歸和分類

改進(jìn)的融合結(jié)構(gòu)在Module1、Module2和Module3三個(gè)特征層上分別通過4個(gè)3×3的卷積層后，進(jìn)行位置回歸和分類，生成固定數(shù)目的初始框.一般的回歸部分，位置和種類的回歸在同一個(gè)特征圖上，而為了使兩個(gè)不同的損失相互之間沒有影響，增強(qiáng)特征的表征能力，RetinaNet的位置回歸和分類分開進(jìn)行.以Module2為例，其回歸結(jié)構(gòu)如圖4所示.在每個(gè)特征層的錨點(diǎn)上生成9個(gè)初始框，通過和真實(shí)框的匹配得到邊界框.計(jì)算真實(shí)框和邊界框之間的損失函數(shù)，并通過平均梯度下降法建立優(yōu)化器，最終完成網(wǎng)絡(luò)的訓(xùn)練.

圖4 Module2的回歸結(jié)構(gòu)Fig.4 Regression structure of Module2

RetinaNet的損失函數(shù)和其他檢測(cè)算法相同，分為位置損失和分類損失.位置損失的計(jì)算如式（1）所示.

考慮正負(fù)樣本的不平衡問題，RetinaNet采用了Focal loss作為分類損失.Focal loss是在交叉熵?fù)p失函數(shù)（CE loss）中改進(jìn)的，CE loss如式（3）所示.

式中：n代表邊界框的總數(shù)，y′t為第t個(gè)邊界框所對(duì)應(yīng)的正確類別；pt為第t個(gè)邊界框的預(yù)測(cè)類別；I為符號(hào)函數(shù)；大括號(hào)內(nèi)為判斷條件.Focal loss在CE loss前加上了權(quán)重，如式4所示：

式中：α和γ均為權(quán)重因子，一般分別取0.25和2.可以看出，當(dāng)正負(fù)樣本不均勻時(shí)，由負(fù)樣本造成的損失會(huì)大幅度下降；而當(dāng)樣本均勻時(shí)，損失僅適當(dāng)降低，從而減弱了樣本不均造成的分類錯(cuò)誤.

由于改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)特征層的尺度是原圖的4倍，因此初始框的數(shù)目為原圖的4倍，屬于背景的邊界框與屬于前景的邊界框之間的比例會(huì)更大.這樣，即使Focal loss可以適當(dāng)平衡正負(fù)樣本的不均衡，也會(huì)對(duì)損失函數(shù)的訓(xùn)練帶來退化.同時(shí)，由于初始框的大量增加，網(wǎng)絡(luò)計(jì)算量增加，訓(xùn)練效率也會(huì)受到較大影響.因此，在進(jìn)行分類和回歸前，采用了OHEM（Online Hard Example Mining）算法[17]的思想，對(duì)正負(fù)樣本進(jìn)行篩選.OHEM也是基于CE算法的改進(jìn)，經(jīng)證明[10-11]，其在平衡正負(fù)樣本上具有較好的魯棒性.

在本文算法中，首先計(jì)算每個(gè)邊界框與真實(shí)框之間的IOU；而后按照IOU從大到小對(duì)所有邊界框進(jìn)行排序，取其中前2/3數(shù)量的邊界框作為訓(xùn)練樣本；最后，調(diào)用Focal loss進(jìn)行損失函數(shù)的計(jì)算和反向傳遞.

2 訓(xùn)練預(yù)處理

2.1 數(shù)據(jù)增廣

在訓(xùn)練過程中，為了增加網(wǎng)絡(luò)的魯棒性，對(duì)輸出的SAR圖像進(jìn)行增廣.數(shù)據(jù)增廣的方式有很多，比如水平翻轉(zhuǎn)、裁剪、視角變換、jpeg壓縮、尺度變換、顏色變換和旋轉(zhuǎn)等等.考慮到實(shí)際拍攝的角度不同和SAR圖像的單通道特性，這里我們選擇采用水平翻轉(zhuǎn)、尺度變化、旋轉(zhuǎn)和亮度變化.在數(shù)據(jù)輸入階段，分別有50%的概率對(duì)圖像進(jìn)行隨機(jī)類別的增廣操作.

在進(jìn)行水平翻轉(zhuǎn)、尺度變化和旋轉(zhuǎn)變化時(shí)，圖像的標(biāo)注框也要同時(shí)進(jìn)行改變.在進(jìn)行水平翻轉(zhuǎn)和尺度變化時(shí)，標(biāo)注框的類別信息不變，位置信息（x，y，w，h）進(jìn)行對(duì)稱變化和尺度變化.而在進(jìn)行旋轉(zhuǎn)變化時(shí)，標(biāo)注框需要重新設(shè)定，如圖5所示.首先通過旋轉(zhuǎn)的角度，計(jì)算相應(yīng)標(biāo)注框的頂點(diǎn)旋轉(zhuǎn)后的映射位置.而后，計(jì)算出每兩個(gè)點(diǎn)之間的橫向和縱向的最大距離，并以最大的橫向距離和縱向距離作為新標(biāo)注框的（w，h），中心位置坐標(biāo)不變.最后，選擇適當(dāng)?shù)目s進(jìn)尺度對(duì)邊框的（w，h）進(jìn)行修正.設(shè)（w′，h′）為新邊框的大小，ε為縮放因子，S為原邊框的面積，則

圖5 旋轉(zhuǎn)變化時(shí)標(biāo)注框的變化Fig.5 Change in the label box

2.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指針對(duì)新的神經(jīng)網(wǎng)絡(luò)重新使用預(yù)先訓(xùn)練的模型進(jìn)行參數(shù)初始化.由于其能用較少的數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，能夠提升網(wǎng)絡(luò)的訓(xùn)練速度和精度，這使得它在深度學(xué)習(xí)領(lǐng)域非常流行.在本文中，首先使用MSTAR數(shù)據(jù)集在ResNet101上進(jìn)行預(yù)訓(xùn)練，保存訓(xùn)練好的模型參數(shù)，而后將模型載入本算法的特征提取層，最后利用SSDD數(shù)據(jù)集對(duì)本網(wǎng)絡(luò)的參數(shù)進(jìn)行微調(diào)（Fine-tuning）.

MSTAR數(shù)據(jù)集是美國國防高等研究計(jì)劃署（DARPA）支持的MSTAR計(jì)劃所公布的實(shí)測(cè)SAR地面靜止目標(biāo)的公開數(shù)據(jù)集，包含多種車輛目標(biāo)在各個(gè)方位角下獲取到的目標(biāo)圖像.由于SAR圖像和RGB圖像之間存在較大差異，因此使用MSTAR數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練可以避免出現(xiàn)負(fù)遷移的現(xiàn)象.將MSTAR數(shù)據(jù)集在ResNet101上進(jìn)行訓(xùn)練，待網(wǎng)絡(luò)完全收斂，去除ResNet101最后的全連接層，將前層的參數(shù)載入到本算法的特征提取層.在之后的Finetuning過程中，不凍結(jié)特征提取層的參數(shù)，直接利用SSDD數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行調(diào)整.

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)在Ubuntu16.04系統(tǒng)的Pytorch框架下運(yùn)行，并使用CUDA8.0和cuDNN5.0來加速訓(xùn)練.計(jì)算機(jī)搭載的CPU為Corei7-8700k，顯卡為NVIDIA GTX1080Ti，內(nèi)存為32 G.數(shù)據(jù)集為SSDD，共1 160張圖像，2 456艘艦船目標(biāo).本文將此數(shù)據(jù)集按照7∶3的比例分為了訓(xùn)練集和測(cè)試集，在分類中，將圖像按照復(fù)雜度（密集程度和尺度變化量）均勻地分給訓(xùn)練集和測(cè)試集以保證實(shí)驗(yàn)的有效性.非極大值抑制和預(yù)測(cè)概率的閾值均為0.5.

將本算法與傳統(tǒng)的RetinaNet、SSD、FSSD、RFB單階段算法進(jìn)行對(duì)比，采用平均精度和FPS作為性能指標(biāo)，對(duì)比結(jié)果如表3所示（都經(jīng)過預(yù)訓(xùn)練和數(shù)據(jù)增強(qiáng)）.

表3 算法性能對(duì)比表Tab.3 Algorithm performance comparison table

由表3可知，在精度上，經(jīng)典的基于Vgg16的SSD網(wǎng)絡(luò)精度相對(duì)較低，而其改進(jìn)結(jié)構(gòu)RFB和FSSD網(wǎng)絡(luò)（基于Vgg16）的檢測(cè)精度雖然有所提高，但改進(jìn)效果較小.當(dāng)采用性能更好的特征提取層如ResNet101和DarkNet53時(shí)，SSD網(wǎng)絡(luò)的精度提升到了86.7%，而FSSD網(wǎng)絡(luò)提升較小，RFB網(wǎng)絡(luò)甚至出現(xiàn)精度下降.相對(duì)于SSD系列的算法，RetinaNet在精度上具有明顯的優(yōu)勢(shì).而本文所提出的改進(jìn)算法在RetinaNet的基礎(chǔ)上仍有1.8%的提升，取得了最高的檢測(cè)精度.在速度上，可以看出特征提取層的影響較大，其中基于Vgg16的網(wǎng)絡(luò)速度較快，基于ResNet101的速度較慢.傳統(tǒng)的基于Vgg16的SSD網(wǎng)絡(luò)速度最快，但是精度相對(duì)不足.本文提出的算法在速度上達(dá)到50 FPS，相比原始RetinaNet僅僅下降8.82 FPS（3 ms），因此總體來看，本文所提出的算法在此數(shù)據(jù)集中具有更好的效果.

為了證明改進(jìn)算法的有效性，分別將本文算法的改進(jìn)部分（融合結(jié)構(gòu)，損失函數(shù)）與原始算法進(jìn)行對(duì)比，如表4所示.

表4 改進(jìn)部分的對(duì)比表Tab.4 Improved part comparison

由表4可以看出，同時(shí)包含了這2種改進(jìn)的算法精度達(dá)到最高；只改進(jìn)了損失函數(shù)算法的精度有所下降，這是由于原始算法正負(fù)樣本比例適中，不會(huì)對(duì)Focal loss的計(jì)算帶來退化所致.而加入OHEM的思想，網(wǎng)絡(luò)強(qiáng)制性地去除了一些有利樣本，故精度有所下降.當(dāng)加入特征融合結(jié)合結(jié)構(gòu)時(shí)，可明顯發(fā)現(xiàn)，網(wǎng)絡(luò)檢測(cè)精度提高，這是因?yàn)榫W(wǎng)絡(luò)綜合利用了底層的特征信息，更高效地融合了深淺層的圖像特征.然而，由于此時(shí)正負(fù)樣本的不均衡程度增加，損失函數(shù)存在部分退化，此時(shí)，加入OHEM的思想則對(duì)正負(fù)樣本的均衡性進(jìn)行調(diào)整，再利用Focal loss進(jìn)行損失計(jì)算和傳遞，于是算法精度上升.

最后，將改進(jìn)的算法和原始的RetinaNet的檢測(cè)結(jié)果可視化對(duì)比，如圖6所示.通過對(duì)比2種算法和標(biāo)注圖，可以看出，在干擾因素較多、目標(biāo)較小的時(shí)候，傳統(tǒng)的RetinaNet漏檢、錯(cuò)檢嚴(yán)重，而本文算法都可以很好地識(shí)別出目標(biāo)，具有較好的魯棒性.

圖6 輸出結(jié)果的可視化對(duì)比Fig.6 Visual comparison of output

4 結(jié)論

針對(duì)傳統(tǒng)的SAR圖像艦船檢測(cè)算法魯棒性差、精度低、適應(yīng)性不強(qiáng)等不足，本文提出了一種深度學(xué)習(xí)的SAR圖像檢測(cè)算法，該算法在RetinaNet的基礎(chǔ)上針對(duì)SAR圖像成像的特點(diǎn)對(duì)其FPN結(jié)構(gòu)進(jìn)行改進(jìn)，增加了其特征數(shù)量，提升了融合效果.而后，針對(duì)數(shù)據(jù)量的增加出現(xiàn)的正負(fù)樣本失衡問題，對(duì)損失函數(shù)的計(jì)算進(jìn)行改進(jìn).最后，通過數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)提升網(wǎng)絡(luò)魯棒性、收斂速度.實(shí)驗(yàn)中利用SSDD數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并對(duì)比了幾個(gè)典型的單階段檢測(cè)算法，結(jié)果顯示，本算法相比于傳統(tǒng)的RetinaNet算法在FPS下降有限的情況下，準(zhǔn)確率提升了1.8%，具有更好的效果.