一種改進(jìn)復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)模型的方法

周 慧，嚴(yán)鳳龍，褚 娜，劉振宇

1.大連東軟信息學(xué)院 軟件學(xué)院，遼寧 大連 116023

2.大連東軟信息學(xué)院 計(jì)算機(jī)學(xué)院，遼寧 大連 116023

目標(biāo)檢測(cè)是將目標(biāo)定位和目標(biāo)分類結(jié)合起來(lái)，其中目標(biāo)分類負(fù)責(zé)判斷輸入的圖像中是否包含所需物體，目標(biāo)定位則負(fù)責(zé)標(biāo)識(shí)出目標(biāo)物體的位置，并用外接矩形框定位。目標(biāo)檢測(cè)通常需要在卷積特征圖上引入事先定義好的矩形框，即錨點(diǎn)框（anchor boxes），這些錨點(diǎn)框按照面積和寬高比均勻分布，便于檢測(cè)出不同比例的目標(biāo)。這類方法稱為基于錨點(diǎn)框（anchor-based）的目標(biāo)檢測(cè)[1-2]。anchor-based檢測(cè)方法通常分為two-stage[3-4]和one-stage[5-6]。兩者都是先在圖像上平鋪大量預(yù)定義錨點(diǎn)框，然后預(yù)測(cè)錨點(diǎn)框類別，最后選擇合適的錨點(diǎn)框作為輸出結(jié)果并進(jìn)行回歸操作。常見(jiàn)的two-stage檢測(cè)方法如faster R-CNN[3]、FPN（feature pyramid networks，F(xiàn)PN）[4]等。復(fù)雜場(chǎng)景下的艦船目標(biāo)檢測(cè)，是典型的小目標(biāo)檢測(cè)應(yīng)用，上述模型都在艦船小目標(biāo)檢測(cè)中廣泛應(yīng)用。如Kang等人使用fast-RCNN方法獲得初始艦船檢測(cè)結(jié)果，然后應(yīng)用恒虛警率評(píng)價(jià)檢測(cè)結(jié)果[8]。Xiao等人提出了一種語(yǔ)義分割網(wǎng)絡(luò)，以生成更精確的旋轉(zhuǎn)錨點(diǎn)框，并將生成的錨點(diǎn)框用于船舶目標(biāo)檢測(cè)[9]。常見(jiàn)的one-stage方法如Yolo系列[5-6]、SSD（single shot multibox detector，SSD）[7]等。其中，Wang等人使用SDD模型檢測(cè)SAR圖像中復(fù)雜背景中的船只，并使用遷移學(xué)習(xí)來(lái)提高準(zhǔn)確性[10]。Hu等人提出了一種基于改進(jìn)YOLOv3的SAR艦船檢測(cè)算法[11]。

然而，anchor-based檢測(cè)方法會(huì)帶來(lái)正負(fù)樣本的不平衡問(wèn)題。在目標(biāo)檢測(cè)的過(guò)程中，大量的錨點(diǎn)框分布在卷積特征圖上，通過(guò)計(jì)算真實(shí)邊界框與錨點(diǎn)框的交并比（intersection over union，IoU）來(lái)劃分正負(fù)樣本[12]。一般而言，高于IoU設(shè)置正樣本閾值的標(biāo)記為正樣本，低于IoU設(shè)置負(fù)樣本閾值的標(biāo)記為負(fù)樣本（或者稱為背景），其他為可忽略樣本。復(fù)雜場(chǎng)景下的小目標(biāo)船舶，通過(guò)錨點(diǎn)框標(biāo)注樣本，帶來(lái)的正負(fù)樣本不均衡更為明顯。還有部分模型如Yolo等，為進(jìn)一步提高定位準(zhǔn)確率，采用NMS（非極大值抑制）[13]，將具有最高分類得分的錨點(diǎn)框定義為正樣本，其余為負(fù)樣本。這個(gè)過(guò)程造成了更為突出的正負(fù)樣本不平衡問(wèn)題。而正負(fù)樣本不均衡是影響船舶檢測(cè)準(zhǔn)確率的重要因素。

與此同時(shí)，anchor-based檢測(cè)方法提到的基于不同面積和寬高比的錨點(diǎn)框是一組預(yù)先定義的超參[14]，錨點(diǎn)框設(shè)計(jì)最重要的因素是要保證覆蓋目標(biāo)的位置和密度。通常錨點(diǎn)框分為大中小三類尺寸，SAR圖像中的船舶目標(biāo)屬于特定數(shù)據(jù)集，多數(shù)為小尺寸目標(biāo)。通過(guò)固定錨點(diǎn)框得到候選框的方式明顯限制了檢測(cè)模型[15-16]。

為了追求最佳特征對(duì)象匹配，目前提出了很多錨點(diǎn)框優(yōu)化的方法。如meta anchor[17]提供了一個(gè)子網(wǎng)，從預(yù)定義的任意框中學(xué)習(xí)合適特征對(duì)象尺寸的錨點(diǎn)框。Guided anchoring[18]利用語(yǔ)義特征建立一個(gè)單獨(dú)模塊，通過(guò)建立錨點(diǎn)框函數(shù)自動(dòng)生成錨點(diǎn)框。Gaussian YOLO[19]在建模過(guò)程中建立為四個(gè)高斯分布，在預(yù)測(cè)過(guò)程中輸出引入了預(yù)測(cè)框的不確定性，從而最終提升錨點(diǎn)框的定位精度。另外，rotated anchor boxes[9]是設(shè)計(jì)了一個(gè)成對(duì)的語(yǔ)義分割網(wǎng)絡(luò)來(lái)生成具有旋轉(zhuǎn)型的錨點(diǎn)框，然后生成的旋轉(zhuǎn)錨點(diǎn)框用于分類和回歸。

本文也提出了一種改進(jìn)anchor-based小目標(biāo)檢測(cè)方法。首先采用自適應(yīng)錨點(diǎn)框保證覆蓋目標(biāo)的位置和密度；然后基于自適應(yīng)錨點(diǎn)框生成的自適應(yīng)IoU閾值，并利用該閾值選擇正負(fù)樣本，保證樣本均衡。分別對(duì)two-stage模型faster R-CNN[3]、FPN[4]和one-stage模型Yolo3[5]、pp-Yolo[6]優(yōu)化錨點(diǎn)框，性能均得到提升，說(shuō)明了該優(yōu)化方法的有效性。

1 基于形狀聚類的自適應(yīng)錨點(diǎn)框模型

在船舶目標(biāo)檢測(cè)時(shí)，首先需要定義正樣本和負(fù)樣本，并對(duì)正樣本的位置進(jìn)行回歸。傳統(tǒng)的檢測(cè)方法是預(yù)先定義一組基于不同面積和寬高比的錨點(diǎn)框。SAR圖像的船舶目標(biāo)多為小尺寸目標(biāo)，通用錨點(diǎn)框的尺寸無(wú)法較好地反映目標(biāo)的形狀信息，會(huì)影響檢測(cè)精度。因此，本文在定義正負(fù)樣本的過(guò)程中，采用基于形狀相似度的DBSACAN聚類方法，計(jì)算得出一組的錨點(diǎn)框，更適應(yīng)SAR圖像中的船舶目標(biāo)尺寸。

DBSCAN算法是基于密度的聚類算法，以數(shù)據(jù)集在空間分布上的稠密程度為依據(jù)進(jìn)行聚類[20]。假設(shè)給定數(shù)據(jù)集D={x1,x2,…,xm}定義如下概念：

定義1（ε-鄰域）對(duì)xi∈D，ε-鄰域包含了數(shù)據(jù)集D中與xj之間的距離小于等于ε的樣本，即：Nε( xj)={xi∈D|d(xi,xj)≤ε}。

定義2（核心對(duì)象）如果xj的ε-鄰域至少包含MinPts個(gè)樣本，即Nε( )xj≥MinPts，則xj是一個(gè)核心對(duì)象。

定義3（密度直達(dá)）如果xi在xj的ε-鄰域中，并且xj是核心對(duì)象，稱xi由xj直接密度可達(dá)。

定義4（密度可達(dá)）對(duì)于xi和xj，如果存在一個(gè)對(duì)象鏈m1,m2,…,mn，其中m1=xi，mn=xj，mi∈D(1≤i≤n)，并且mi+1由mi直接密度可達(dá)，稱xj由xi關(guān)于ε和MinPts密度可達(dá)。

定義5（密度相連）對(duì)于xi和xj，如果存在一個(gè)對(duì)象xk，xk∈D( )1≤k≤n使xi和xj均由xk密度可達(dá)，則稱xi和xj關(guān)于ε和MinPts密度相連。

定義6（簇）從數(shù)據(jù)集D中任取一個(gè)對(duì)象xi，從xi開(kāi)始在D搜索所有密度相連對(duì)象，構(gòu)成一個(gè)簇。

本文采用DBSCAN算法聚類生成錨點(diǎn)框，替代傳統(tǒng)的預(yù)先指定錨點(diǎn)框的方式。在計(jì)算真實(shí)邊界框之間是否可聚類時(shí)，利用形狀相似距離替代歐式距離，即根據(jù)形狀相似性進(jìn)行密度聚類。具體步驟如下：

步驟1初始化核心對(duì)象集合Ω=?，初始化聚類簇?cái)?shù)k=0，初始化未訪問(wèn)目標(biāo)框集合Γ=D，簇劃分C=?。

步驟2計(jì)算目標(biāo)框g i的ε-鄰域包括的樣本集Nε(g i)，根據(jù)Nε(g i)判斷g i是否為核心對(duì)象，如果是，將g i加入核心對(duì)象集合中：Ω=Ω∪{g i}。

本文計(jì)算目標(biāo)框間ε-鄰域距離采用的是形狀相似度距離，通過(guò)計(jì)算形狀距離dSSD來(lái)度量目標(biāo)框之間的相似性，dSSD如公式（1）～（4）所示：

步驟4重復(fù)步驟3，直到Ω為?，則聚類簇生成完畢。取當(dāng)前簇C k中所有樣本的長(zhǎng)和寬，分別求出均值，即為一個(gè)新的錨點(diǎn)框尺寸。簇的個(gè)數(shù)即為錨點(diǎn)框的數(shù)量。采用基于形狀相似距離的DBSCAN算法聚類目標(biāo)真實(shí)框，結(jié)果如圖1所示。

圖1 原始錨點(diǎn)框與自適應(yīng)錨點(diǎn)框?qū)Ρ菷ig.1 Comparison of original anchor boxes and adaptive anchor boxes

2 自適應(yīng)正負(fù)樣本閾值

目標(biāo)檢測(cè)器通過(guò)計(jì)算真實(shí)邊界框與錨點(diǎn)框的IoU來(lái)劃分正負(fù)樣本時(shí)，一般而言，高于IoU正樣本閾值的標(biāo)記為正樣本，低于閾值的標(biāo)記為負(fù)樣本（或者稱為背景）。因此基于錨點(diǎn)框的IoU閾值作為超參，不同的設(shè)置會(huì)有產(chǎn)生不同的正負(fù)樣本劃分結(jié)果。復(fù)雜場(chǎng)景下的小目標(biāo)船舶，通過(guò)錨點(diǎn)框標(biāo)注樣本，會(huì)帶來(lái)明顯的正負(fù)樣本不均衡問(wèn)題。本文采用了一種自動(dòng)的計(jì)算IoU閾值的方法，利用上述自適應(yīng)的錨點(diǎn)框，根據(jù)統(tǒng)計(jì)量劃分正樣本和負(fù)樣本，盡量避免影響結(jié)果的超參數(shù)的使用。具體過(guò)程如下：

步驟4在候選樣本集中，再次選擇候選框與目標(biāo)框的IoU大于TIoU的為正樣本，則候選集中剩下的為負(fù)樣本。

錨點(diǎn)框的中心越靠近目標(biāo)框中心，IoU的值越大，故根據(jù)中心距離選擇候選框，能夠提高樣本的候選質(zhì)量。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 自適應(yīng)錨點(diǎn)框?qū)嶒?yàn)

實(shí)驗(yàn)數(shù)據(jù)集使用中國(guó)科學(xué)院發(fā)布的SAR船用數(shù)據(jù)集，共計(jì)43 819艘船圖片，其包括59 535艘船的圖像切片。在利用目標(biāo)檢測(cè)模型檢測(cè)前，先采用自適應(yīng)錨點(diǎn)框的算法得到一組錨點(diǎn)框，再根據(jù)該組錨點(diǎn)框計(jì)算自適應(yīng)IoU閾值，并利用該閾值選擇正負(fù)樣本，將改進(jìn)的錨點(diǎn)框和IoU閾值用于不同的檢測(cè)模型中，整體流程如圖2所示。

圖2 實(shí)驗(yàn)流程圖Fig.2 Experimental flowchart

針對(duì)該數(shù)據(jù)集，采用形狀相似度的DBSCAN聚類方法計(jì)算得出一組的自適應(yīng)錨點(diǎn)框，不同的（ε，Minpts）可計(jì)算確定錨點(diǎn)框個(gè)數(shù)的超參數(shù)k，通過(guò)實(shí)驗(yàn)驗(yàn)證超參k的魯棒性。通常，faster R-CNN設(shè)置初始錨點(diǎn)框個(gè)數(shù)為9個(gè)[3]，F(xiàn)PN模型設(shè)置個(gè)數(shù)為5個(gè)，并提供3個(gè)不同的寬高比[4]，Yolo3模型初始錨點(diǎn)框一般設(shè)定為9個(gè)[5]，pp-Yolo初始錨點(diǎn)框與Yolo3一致，因此選擇DBSCAN聚類結(jié)果k值為[6，9，12，15]的幾組結(jié)果，并對(duì)比基于歐式距離（Euclidean distance）聚類和基于形狀相似度距離（shape similar distance）聚類生成的錨點(diǎn)框效果，如表1所示。當(dāng)錨點(diǎn)框數(shù)據(jù)量為9時(shí)，準(zhǔn)確率最高，繼續(xù)增加錨點(diǎn)框數(shù)據(jù)量，準(zhǔn)確率略有下降。同時(shí)，基于形狀相似度的聚類，在歐式距離的基礎(chǔ)上進(jìn)一步考慮了形狀距離，從實(shí)驗(yàn)對(duì)比結(jié)果來(lái)看，基于形狀相似度聚類的錨點(diǎn)框在檢測(cè)中能取得更好的準(zhǔn)確率。

表1 基于歐式距離和基于形狀距離聚類結(jié)果對(duì)比Table 1 Results with different clustering methods based on Euclidean distance and shape distance

同時(shí)與Kmeans的聚類結(jié)果進(jìn)行對(duì)比，Kmeans的超參k值取9，分別按照歐氏距離和形狀相似度距離聚類得到兩組錨點(diǎn)框，與DBSCAN生成同樣數(shù)量的錨點(diǎn)框，在faster R-CNN模型上進(jìn)行對(duì)比實(shí)驗(yàn)，如表2所示，基于密度聚類的DBSCAN在錨點(diǎn)框聚類中能取得更好的結(jié)果。

表2 不同聚類算法結(jié)果對(duì)比Table 2 Results with different Clustering methods

3.2 自適應(yīng)正負(fù)樣本閾值實(shí)驗(yàn)

針對(duì)自適應(yīng)正負(fù)樣本閾值的實(shí)驗(yàn)，同樣使用中國(guó)科學(xué)院發(fā)布的SAR船用數(shù)據(jù)集，并且采用自適應(yīng)錨點(diǎn)框的結(jié)果集合。將自動(dòng)的計(jì)算IoU閾值與預(yù)定義的IoU閾值進(jìn)行比較，結(jié)果如表3所示。

表3 在SAR數(shù)據(jù)集上不同閾值結(jié)果對(duì)比Table 3 Experiment results of various IoU on SAR dataset

3.3 實(shí)驗(yàn)分析

傳統(tǒng)的two-stage object檢測(cè)器如faster R-CNN、FPN，one-stage object檢測(cè)器如Yolo3和pp-Yolo，在一般的船舶檢測(cè)任務(wù)中也能達(dá)到較好的檢測(cè)結(jié)果。模型在Tesla V100中，均采用相同的訓(xùn)練策略對(duì)SAR船用數(shù)據(jù)集進(jìn)行訓(xùn)練，迭代次數(shù)為105，batch_size設(shè)置為96，同時(shí)初始學(xué)習(xí)率設(shè)為0.000 1，每輪迭代后調(diào)整學(xué)習(xí)率，最終mAP分別為89.6%、93.3%、86.7%、88.0%。但是上述模型在背景中包含干擾對(duì)象的復(fù)雜場(chǎng)景下檢測(cè)準(zhǔn)確率下降明顯，虛警概率和漏檢率高，從上述SAR船用數(shù)據(jù)集中選擇已標(biāo)注的15 000張復(fù)雜背景圖像（如圖3）進(jìn)行測(cè)試，faster R-CNN、FPN、Yolo3和pp-Yolo準(zhǔn)確率分別下降到79.4%、85.7%、71.3%、78.2%。

圖3 復(fù)雜場(chǎng)景下的艦船目標(biāo)數(shù)據(jù)集Fig.3 Ship target dataset in complex scenes

采用自適應(yīng)錨點(diǎn)框方法（adaptive anchor boxes，AAB）和自適應(yīng)閾值選擇方法（adaptive threshold selection，ATS）與的目標(biāo)檢測(cè)模型對(duì)15 000張復(fù)雜場(chǎng)景圖像檢測(cè)，部分結(jié)果如圖4所示，在復(fù)雜場(chǎng)景下，改進(jìn)后的目標(biāo)檢測(cè)模型用于小目標(biāo)檢測(cè)均取得了較好的效果。四種模型均能提升mAP，如表4所示。針對(duì)不同的模型，首先采用AAB方法，mAP平均提升5.50個(gè)百分點(diǎn)；然后在同樣的原始模型中，均加入ATS方法改進(jìn)，各個(gè)模型mAP平均提升2.23個(gè)百分點(diǎn)。

表4 不同模型的檢測(cè)結(jié)果對(duì)比Table 4 Comparison of detection results on ship dataset

two-stage object檢測(cè)器faster R-CNN融合AAB+ATS，檢測(cè)精確率上升了接近9.6個(gè)百分點(diǎn)；FPN融合AAB+ATS，檢測(cè)精確率上升了接近2.6個(gè)百分點(diǎn)；Yolo3融合AAB+ATS，檢測(cè)精確率上升了接近9.8個(gè)百分點(diǎn)；pp-Yolo融合AAB+ATS，檢測(cè)精確率上升了接近9.9個(gè)百分點(diǎn)。說(shuō)明通過(guò)自適應(yīng)閾值，優(yōu)化錨點(diǎn)框與目標(biāo)框的IoU值解決正負(fù)樣本不均衡問(wèn)題，以及通過(guò)自適應(yīng)錨點(diǎn)框，生成初始錨點(diǎn)框代替原始超參，解決目標(biāo)覆蓋問(wèn)題，均能達(dá)到提升準(zhǔn)確率的作用。兩者結(jié)合，更有利于檢測(cè)復(fù)雜場(chǎng)景下的船舶目標(biāo)。復(fù)雜場(chǎng)景的檢測(cè)結(jié)果如圖4所示。

圖4 復(fù)雜場(chǎng)景下的艦船目標(biāo)檢測(cè)結(jié)果Fig.4 Ship object detection results in complex scenes

4 結(jié)論

在復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)問(wèn)題的研究中，正負(fù)樣本均衡和錨點(diǎn)框的覆蓋密度均影響檢測(cè)結(jié)果，故本文提出了一種改進(jìn)小目標(biāo)檢測(cè)模型的方法，采用基于形狀相似距離評(píng)估的密度聚類方法，生成自適應(yīng)錨點(diǎn)框；采用自適應(yīng)閾值方法，利用訓(xùn)練樣本選擇合適的閾值，再劃分正負(fù)樣本。將該提升方法用于two-stage模型faster RCNN、FPN，one-stage模型Yolo3、pp-Yolo，針對(duì)復(fù)雜場(chǎng)景的小目標(biāo)檢測(cè)均不同程度地提高了檢測(cè)準(zhǔn)確，說(shuō)明本文提出的方法是一種可行的、有效的改進(jìn)小目標(biāo)檢測(cè)模型的方法。