基于YOLO框架的無(wú)錨框SAR圖像艦船目標(biāo)檢測(cè)

賈曉雅, 汪洪橋, 楊亞聃, 崔忠馬, 熊 斌

(1. 火箭軍工程大學(xué)作戰(zhàn)保障學(xué)院, 陜西 西安 710025; 2. 北京遙感設(shè)備研究所, 北京 100854;3. 中國(guó)航天科工集團(tuán)有限公司科研生產(chǎn)部, 北京 100048)

0 引 言

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)的一個(gè)重要應(yīng)用,根據(jù)檢測(cè)的目標(biāo)、圖像來(lái)源和側(cè)重點(diǎn)等給研究者更細(xì)化的現(xiàn)實(shí)研究。根據(jù)檢測(cè)的目標(biāo)可分為日常目標(biāo)檢測(cè)和特定目標(biāo)檢測(cè),日常目標(biāo)為常用目標(biāo)檢測(cè)數(shù)據(jù)集中的目標(biāo),特定目標(biāo)包括具有研究意義的某種特定的目標(biāo)種類(lèi),如飛機(jī)、艦船、橋梁、交通標(biāo)志、行人檢測(cè)等。根據(jù)檢測(cè)的圖像來(lái)源可分為可見(jiàn)光圖像、紅外圖像、 合成孔徑雷達(dá)(synthetic aperture radar， SAR)圖像等。目標(biāo)檢測(cè)可側(cè)重小樣本、小目標(biāo)、輕量化等具有特點(diǎn)的檢測(cè)方向。通過(guò)以上細(xì)化,讓目標(biāo)檢測(cè)的具體應(yīng)用及改進(jìn)有了更多可能性和方向性。SAR圖像艦船目標(biāo)檢測(cè)作為目標(biāo)檢測(cè)的一個(gè)重要應(yīng)用方向,對(duì)其深入研究具有重要的軍事和社會(huì)意義。

常見(jiàn)的傳統(tǒng)SAR圖像目標(biāo)檢測(cè)方法是恒虛警率[1](constant false alarm rate, CFAR),還有模板匹配[2]、尾跡檢測(cè)[3]、基于小波變換[4]的檢測(cè)方法等。傳統(tǒng)方法的特征提取多依靠人工的設(shè)計(jì),難以應(yīng)對(duì)復(fù)雜多變的檢測(cè)環(huán)境。以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)為框架的深度學(xué)習(xí)方法在可見(jiàn)光圖像的目標(biāo)檢測(cè)算法中取得了較好的發(fā)展,現(xiàn)也被應(yīng)用到SAR和紅外圖像的目標(biāo)檢測(cè)中。如:針對(duì)SAR圖像艦船目標(biāo)成像小的特點(diǎn)改進(jìn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)SAR海面艦船目標(biāo)識(shí)別算法[5];提出了一種適應(yīng)多尺度、小目標(biāo)檢測(cè)的骨干網(wǎng)[6];考慮紅外強(qiáng)度提出一種新的骨干網(wǎng)絡(luò)[7]。

深度學(xué)習(xí)方法有以精度高為優(yōu)勢(shì)的兩階段檢測(cè)算法,包括區(qū)域CNN(region-CNN, R-CNN)[8]、SPP(spatial pyramid pooling)-Net[9]、Fast R-CNN[10]、Faster R-CNN[11]等,和以速度快為優(yōu)勢(shì)的一階段檢測(cè)算法,包括YOLO(you only look once)[12]、SSD(single shot multibox detector)[13]、YOLOv2[14]、YOLOv3[15]等。YOLOv4[16]中指出通過(guò)模塊化結(jié)構(gòu),以上檢測(cè)算法都可分為Backbone、Neck、Head 3部分,更利于對(duì)特征提取、特征融合、檢測(cè)頭的構(gòu)建和優(yōu)化。

Backbone作為提取特征的主干網(wǎng)絡(luò),是獲得特征圖的關(guān)鍵步驟,視覺(jué)幾何群 (visual geometry group, VGG)網(wǎng)絡(luò)[17]、ResNet[18]、ResNeXt[19]、Darknet53[15]都是經(jīng)典的特征提取網(wǎng)絡(luò)。近年來(lái),更具目的性的Backbone應(yīng)運(yùn)而生。Hourglass將重復(fù)的自下而上和自上而下的處理與中間監(jiān)督結(jié)合使用以提高網(wǎng)絡(luò)性能[20];MobileNet是為移動(dòng)和嵌入式應(yīng)用提出的高效模型[21];EfficientNet可以在保證精度與速度的同時(shí)實(shí)現(xiàn)模型縮放[22];HRNet通過(guò)并行連接高分辨率到低分辨率卷積以保持高分辨率表示[23]。

Neck可以實(shí)現(xiàn)淺層與深層特征圖的融合,達(dá)到對(duì)Backbone提取的特征充分利用的效果。從特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPNs)到PANet(path aggregation network)[24]、NAS(neural architecture search)-FPN[25]、BiFPN(bi-directional FPN)[22]等,其連接方式越來(lái)越復(fù)雜。HRFPN是HRNet為了保持高分辨率提出的特征融合方式[23]。Balanced Feature Pyramid使用相同深度集成的平衡語(yǔ)義特征來(lái)加強(qiáng)多級(jí)特征[26]。經(jīng)過(guò)證實(shí),特征融合結(jié)構(gòu)對(duì)平均精度有較為明顯的提升。

Head主要負(fù)責(zé)預(yù)測(cè)目標(biāo)的類(lèi)別和位置,分為一階段檢測(cè)算法的密集預(yù)測(cè)和兩階段檢測(cè)算法的稀疏預(yù)測(cè)。其中,對(duì)于邊界框的預(yù)測(cè)也分為兩種方法,一種是基于錨框的,另一種是無(wú)錨框的。因?yàn)槭褂缅^框會(huì)造成正負(fù)錨框數(shù)量巨大不平衡,增加超參數(shù),減緩訓(xùn)練速度,所以近年來(lái)CornerNet[27]、ExtremeNet[28]、CenterNet[29]、FSAF(feature selective anchor-free)[30]、FCOS(fully convolutional one-stage)[31]、FoveaBox[32]等讓無(wú)錨框檢測(cè)成為另一種邊界框預(yù)測(cè)的選擇。

對(duì)于SAR圖像艦船目標(biāo)檢測(cè),SAR圖像不僅會(huì)伴隨相干斑噪聲的產(chǎn)生,其圖像特征比可見(jiàn)光圖像也更加復(fù)雜,且艦船目標(biāo)在不同場(chǎng)景下尺度變化大,加之環(huán)境干擾等因素,給檢測(cè)帶來(lái)困難。鑒于以上分析,本文將模型分為Backbone、Neck、Head 3部分去創(chuàng)新,方法如下:

(1) Backbone使用改進(jìn)CSPDarknet53[16]作為特征提取網(wǎng)絡(luò)。CSPDarknet53是YOLOv4的主干網(wǎng)絡(luò),可以兼顧精度和速度,并降低模型大小。但SAR圖像干擾大、可利用的特征信息少,所以在CSPDarknet53網(wǎng)絡(luò)上增加全局上下文模塊(GC block)[33]來(lái)提高網(wǎng)絡(luò)注意力,可以減少虛警。

(2) 為了充分融合多層特征圖,Neck部分選擇FPN并使用感受野模塊(receptive field block, RFB)[34],使特征的可區(qū)分性和魯棒性更強(qiáng)。

(3) Head采用基于anchor free的FoveaBox進(jìn)行類(lèi)別和位置預(yù)測(cè),可以更好地適應(yīng)艦船目標(biāo)大小的變化,改善了艦船尺寸差別大錨框大小預(yù)測(cè)不準(zhǔn)的問(wèn)題。

本文把無(wú)錨框與骨干網(wǎng)為CSPDarknet的YOLO框架相結(jié)合,并用于SAR圖像艦船目標(biāo)檢測(cè),在公開(kāi)數(shù)據(jù)集上取得了性能提升。

1 基于YOLO框架的無(wú)錨框SAR圖像艦船目標(biāo)檢測(cè)方法

本文基于YOLO框架,在CSPDarknet53特征提取網(wǎng)絡(luò)上增加注意力機(jī)制GC block,將提取后的特征圖經(jīng)過(guò)FPN特征融合,得到5層具有不同尺度信息的特征圖,其中大小為104和52尺度的特征圖使用RFB增大感受野,最后由FoveaBox檢測(cè)頭進(jìn)行檢測(cè)。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 基于注意力機(jī)制的特征提取網(wǎng)絡(luò)

CSPDarknet53是在Darknet53網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上結(jié)合跨階段局部(cross stage partial, CSP)結(jié)構(gòu)形成的主干網(wǎng)絡(luò),CSP結(jié)構(gòu)可以與Backbone結(jié)合,使計(jì)算量降低的同時(shí)保證網(wǎng)絡(luò)的精確度,讓目標(biāo)檢測(cè)模型更加輕量化。考慮SAR圖像復(fù)雜的特性,增加注意力機(jī)制GC block來(lái)提高檢測(cè)的準(zhǔn)確率。將GC block應(yīng)用到CSPDarknet53特征提取網(wǎng)絡(luò)的CSP結(jié)構(gòu)后,可以對(duì)全局上下文進(jìn)行有效建模,實(shí)現(xiàn)空域注意力機(jī)制。

1.1.1 用于艦船檢測(cè)的全局上下文建模

在SAR圖像中,艦船目標(biāo)呈現(xiàn)大小和形狀面不同的特性,且有海島、陸地物體以及相干斑噪聲的干擾,不易進(jìn)行目標(biāo)檢測(cè)。增加全局上下文建模有利于特征圖對(duì)全文信息的獲取。GC block融合了Non-local[35]和SENet[36],既實(shí)現(xiàn)了對(duì)全局上下文的建模,又能降低計(jì)算量,成為即插即用的注意力機(jī)制模塊。

圖2 GC block結(jié)構(gòu)

第2步找到通道間的依賴。Wv 1和Wv 2是1×1卷積,為了使模型輕量化,使用瓶頸轉(zhuǎn)換模塊代替。層規(guī)范化添加在兩層瓶頸轉(zhuǎn)換(ReLU之前)結(jié)構(gòu)之間,可以降低優(yōu)化難度,作為利于泛化的正則化器。這部分的計(jì)算公式為

δ(·)=Wv 2ReLU(LN(Wv 1(·)))

(1)

1.1.2 可視化結(jié)果對(duì)比

實(shí)驗(yàn)中采用SAR艦船目標(biāo)檢測(cè)數(shù)據(jù)集(SAR ship target detection dataset, SSDD)[37]進(jìn)行可視化結(jié)果對(duì)比。選擇尺度大小為52的特征圖進(jìn)行熱力圖可視化(圖3第3行),與沒(méi)有使用GC block的同尺度熱力圖結(jié)果(圖3第2行)作對(duì)比。如圖3所示,第一行為數(shù)據(jù)集原圖,共選擇4個(gè)場(chǎng)景作對(duì)比,從左至右依次包括多目標(biāo)(小尺度)、多目標(biāo)(較大尺度)、十字相干斑噪聲干擾以及單個(gè)大尺度目標(biāo)。對(duì)比可以看出添加GC block可以有效提高注意力,對(duì)噪聲干擾和環(huán)境干擾有一定抵抗能力。

圖3 熱力圖結(jié)果對(duì)比

1.2 基于增大感受野的特征金字塔融合網(wǎng)絡(luò)

為了讓FoveaBox獲得更多特征信息,選擇使用4層不同尺度的特征圖用FPN進(jìn)行特征融合。為增大特征圖的感受野,增強(qiáng)深層特征,本文在前兩層FPN上添加RFB,因?yàn)楹竺嫣卣鞣直媛侍o(wú)法使用較大的卷積核,將FPN中1×1卷積替換為RFB。RFB是輕量級(jí)增大感受野的方法,能夠增強(qiáng)特征的表達(dá)。

RFB是由多分支卷積塊組成的,分為具有不同卷積核的多分支卷積層和空洞卷積層兩部分。前部分與Inception[38]功能相同,可以獲得不同的視野尺度;后部分模擬人類(lèi)視覺(jué)群體感受野的大小和偏心率之間的比率,區(qū)分出中心區(qū)域,以便在更大的區(qū)域和更多上下文中捕獲信息。

RFB在Inception的基礎(chǔ)上增加了空洞卷積,在每個(gè)分支中選擇瓶頸結(jié)構(gòu)以減少計(jì)算量,3個(gè)分支卷積核大小分別為1、3、5,依次膨脹1、3、5,可得到更大的感受野,方便對(duì)SAR圖像目標(biāo)的捕獲。

1.3 無(wú)錨框檢測(cè)

FoveaBox是一種基于無(wú)錨框的檢測(cè)方法,逐像素直接預(yù)測(cè)目標(biāo)出現(xiàn)的可能性和對(duì)應(yīng)的邊界。FoveaBox將真實(shí)的邊界框(x1,y1,x2,y2)映射到不同尺度的特征金字塔上。

(2)

式中:2l是第l層特征金字塔的步長(zhǎng)值。由此可知中心點(diǎn)c的位置和映射的真實(shí)邊界框的寬、高為

(3)

為了劃分正負(fù)樣本,引入(收縮因子,使正樣本比當(dāng)前映射的邊界框小:

(4)

為了預(yù)測(cè)邊界框,FoveaBox將特征圖上正樣本區(qū)域內(nèi)的點(diǎn)(x,y)映射回原圖像,再與真實(shí)邊界框(x1,y1,x2,y2)計(jì)算歸一化偏移,最后用log空間函數(shù)正則化:

(5)

FoveaBox對(duì)FPN傳來(lái)的5層特征圖進(jìn)行檢測(cè),針對(duì)5層特征金字塔圖的大小,設(shè)計(jì)S分別為32、64、128、256、512作為每層的基本尺度,以確定每層特征圖上可檢測(cè)到的目標(biāo)尺度范圍。在檢測(cè)過(guò)程中一個(gè)目標(biāo)可能在多層金字塔被檢測(cè)到,這樣可以充分利用鄰層信息,使訓(xùn)練更加可靠。經(jīng)過(guò)訓(xùn)練,可以為每個(gè)(x,y)生成邊界框。

1.4 損失函數(shù)

訓(xùn)練損失函數(shù)分為分類(lèi)損失和回歸損失,定義如下:

(6)

2 實(shí)驗(yàn)及結(jié)果分析

使用Ubuntu18.04 LTS操作系統(tǒng),CPU:Intel Xeon E5-2609 v4 @1.70 GHz(16,GPU:NVIDIA GeForce GTX 1080,內(nèi)存32 GB,編程語(yǔ)言為python語(yǔ)言,框架為torch。

2.1 實(shí)驗(yàn)設(shè)置

選擇SSDD作為實(shí)驗(yàn)的數(shù)據(jù)集。SSDD共包括1 160張SAR艦船圖像,總計(jì)2 456個(gè)艦船,擁有多尺度、多角度的艦船圖像,適用于多種場(chǎng)景下的艦船目標(biāo)檢測(cè)。實(shí)驗(yàn)訓(xùn)練時(shí),從數(shù)據(jù)集中隨機(jī)選取835張作為訓(xùn)練圖片,185張作為測(cè)試圖片,剩余圖片用作驗(yàn)證,其中測(cè)試圖共480個(gè)目標(biāo)。優(yōu)化算法為SGD,設(shè)置初始學(xué)習(xí)率為0.001,動(dòng)量為0.9,衰減系數(shù)0.000 5。Batchsize為4,共迭代500次,并保存最好的訓(xùn)練參數(shù)。

實(shí)驗(yàn)中所有模型均使用了翻轉(zhuǎn)和裁剪,可以增廣數(shù)據(jù)集,利于模型訓(xùn)練。重新調(diào)整輸入圖像的大小,統(tǒng)一調(diào)整為416×416進(jìn)行訓(xùn)練和檢測(cè)。

2.2 實(shí)驗(yàn)結(jié)果

2.2.1 消融及對(duì)比實(shí)驗(yàn)結(jié)果

本文主要使用的是基于YOLO框架的網(wǎng)絡(luò),其中應(yīng)用了以下改進(jìn)方法:① 使用FoveaBox無(wú)錨框檢測(cè)算法;② 選擇CSPDarknet53作為特征提取網(wǎng)絡(luò);③ 在特征提取網(wǎng)絡(luò)上增加GC block;④ 在FPN中應(yīng)用RFB。為了充分說(shuō)明各種改進(jìn)方法對(duì)檢測(cè)的提高,分別進(jìn)行了消融實(shí)驗(yàn)。結(jié)果如表1所示。表2為本文方法與YOLOv3和FoveaBox原文網(wǎng)絡(luò)方法的對(duì)比結(jié)果。

表1 消融實(shí)驗(yàn)結(jié)果

表2 對(duì)比實(shí)驗(yàn)結(jié)果

表1和表2中, AP(average precision)為平均精度,通過(guò)對(duì)精確率-召回率(P-R)曲線圖求積分得到。Recall為召回率,FA為虛警率。

(7)

在YOLOv3、FoveaBox和本文方法收斂后,將300次迭代的AP結(jié)果進(jìn)行對(duì)比,如圖4所示。

圖4 AP結(jié)果對(duì)比圖

2.2.2 檢測(cè)結(jié)果

圖5是最終改進(jìn)方法(實(shí)驗(yàn)序號(hào)6)在SSDD數(shù)據(jù)集上的檢測(cè)結(jié)果圖,圖5(a)展示了遠(yuǎn)海多目標(biāo)檢測(cè)結(jié)果,圖5(b)展示了近海多目標(biāo)檢測(cè)結(jié)果,圖5(c)展示了大尺度目標(biāo)檢測(cè)結(jié)果。圖6是檢測(cè)過(guò)程中出現(xiàn)虛警、漏警情況的結(jié)果圖,紅色框表示虛警,紫色框表示漏警。從以上檢測(cè)結(jié)果圖看,基于無(wú)錨框的檢測(cè)方法對(duì)各種場(chǎng)景、尺度有較好的適應(yīng)。

圖5 基于本文方法的檢測(cè)結(jié)果

圖6 虛警、漏警情況

2.3 實(shí)驗(yàn)分析

從表1和表2可以看出,基于YOLO框架的無(wú)錨框SAR艦船目標(biāo)檢測(cè)方法在SSDD檢測(cè)中平均精度提高至94.8%,召回率達(dá)到96%,相較其他中間過(guò)程模型在性能上有一定的提高,與YOLOv3相比平均精度提高了3.8%,模型大小減小了90.1 MB。與FoveaBox原文網(wǎng)絡(luò)相比平均精度提高3.6%,虛警率降低36.7%。由于增加模塊導(dǎo)致檢測(cè)速度相較YOLOv3和FoveaBox來(lái)說(shuō)有所降低。從圖4可以看出，本文提出的方法平均精度值要優(yōu)于YOLOv3和FoveaBox。

表1中,比較實(shí)驗(yàn)1～實(shí)驗(yàn)3可知,FoveaBox和FPN的組合可以提高平均精度和召回率,但會(huì)導(dǎo)致虛警率略微提高,證明將無(wú)錨框應(yīng)用到SAR圖像艦船目標(biāo)檢測(cè)是可行的;CSPDarknet53網(wǎng)絡(luò)可以在原性能上有效減小模型大小,利于網(wǎng)絡(luò)輕量化設(shè)計(jì)。對(duì)比實(shí)驗(yàn)3～實(shí)驗(yàn)5可以得出,GC block和RFB都使平均精度、召回率有所降低,GC block主要使虛警率明顯降低,貢獻(xiàn)了5.2%,RFB貢獻(xiàn)了1.7%,說(shuō)明對(duì)于SAR圖像來(lái)說(shuō)全局上下文建模更有利于獲得更準(zhǔn)確的信息。對(duì)比實(shí)驗(yàn)3和實(shí)驗(yàn)6可知,GC block和RFB共同作用于檢測(cè)算法時(shí),能讓平均精度和召回率均提高0.4%,虛警率減少4.5%,比使用其中一種方法取得的效果好。

具體分析圖5可知,本文算法在遠(yuǎn)海多目標(biāo)、近海多目標(biāo)和不同尺度的目標(biāo)檢測(cè)時(shí),都能夠有良好的檢測(cè)結(jié)果,且能夠降低干擾的影響,實(shí)現(xiàn)對(duì)艦船目標(biāo)的精確識(shí)別。圖6是產(chǎn)生虛警、漏警的情況圖,分析原因可知:在海島與艦船形狀、大小相似時(shí)易產(chǎn)生虛警;檢測(cè)多個(gè)相鄰艦船目標(biāo)時(shí),神經(jīng)網(wǎng)絡(luò)不易識(shí)別具體艦船數(shù)量,導(dǎo)致虛警、漏警都易增加;沿海環(huán)境復(fù)雜且沿海多目標(biāo)樣本較少,會(huì)造成漏警增多。

3 結(jié)束語(yǔ)

本文基于YOLO框架,把無(wú)錨框應(yīng)用到對(duì)SAR圖像的艦船目標(biāo)檢測(cè)任務(wù)中,提高了SAR艦船目標(biāo)檢測(cè)的平均精度和召回率。CSPDarknet53特征提取網(wǎng)絡(luò)可以輕量化整個(gè)模型,使模型大小有效降低。把GC block和RFB應(yīng)用到網(wǎng)絡(luò)中,可以在保持原有平均精度和召回率的同時(shí)提升檢測(cè)精度,減少虛警,使模型更加可靠,為輕量化提升目標(biāo)檢測(cè)性能提供可行方法。 接下來(lái)會(huì)針對(duì)檢測(cè)速度的問(wèn)題,繼續(xù)優(yōu)化模型,并嘗試遷移應(yīng)用到其他SAR圖像艦船數(shù)據(jù)集上,以提升本文方法的泛化能力。