FCOSR：一種無錨框的SAR圖像任意朝向船舶目標(biāo)檢測(cè)網(wǎng)絡(luò)

徐昌貴 張 波* 高建威 吳 樊 張 紅 王 超

①(中國(guó)科學(xué)院空天信息創(chuàng)新研究院 北京 100094)

②(中國(guó)科學(xué)院大學(xué)資源與環(huán)境學(xué)院 北京 100049)

③(中國(guó)空間技術(shù)研究院衛(wèi)星應(yīng)用總體部 北京 100094)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)能夠全天候?qū)崿F(xiàn)大場(chǎng)景數(shù)據(jù)獲取[1]，已廣泛應(yīng)用于海洋資源監(jiān)測(cè)、非法捕魚、船舶目標(biāo)檢測(cè)等。近年來，目標(biāo)檢測(cè)領(lǐng)域取得了長(zhǎng)足進(jìn)展，相比于人工設(shè)計(jì)特征的傳統(tǒng)目標(biāo)檢測(cè)算法，神經(jīng)網(wǎng)絡(luò)能夠在大量標(biāo)注數(shù)據(jù)集驅(qū)動(dòng)下自動(dòng)學(xué)習(xí)適用于目標(biāo)檢測(cè)的特征，取得了優(yōu)于傳統(tǒng)算法的檢測(cè)性能，表現(xiàn)出巨大的應(yīng)用潛力。

近年來，研究者已做大量研究工作表明深度學(xué)習(xí)在SAR船舶目標(biāo)檢測(cè)中的適用性[2–10]，這些網(wǎng)絡(luò)使用預(yù)設(shè)錨框與船舶樣本邊界框的交并比來搜索包含目標(biāo)的潛在區(qū)域，并通過網(wǎng)絡(luò)自學(xué)習(xí)錨框參數(shù)偏移量來更好地?cái)M合目標(biāo)邊界框，其結(jié)果輸出的邊界框依賴錨框偏移量與錨框尺寸。為了提高檢測(cè)精度，現(xiàn)有方法主要更改特征提取結(jié)構(gòu)[4,5,8,10]或者添加注意力機(jī)制模塊[2,7,9]來提高檢測(cè)精度。以上這些改進(jìn)均基于預(yù)設(shè)錨框(Anchor-based)網(wǎng)絡(luò)，雖然能夠在一定程度上提高船舶目標(biāo)的檢測(cè)性能，但仍然存在以下兩個(gè)問題有待完善改進(jìn)：(1)預(yù)設(shè)錨框參數(shù)的引入帶來了額外的調(diào)參負(fù)擔(dān)，研究者需要不斷調(diào)整錨框的尺寸、數(shù)量以及長(zhǎng)寬比來獲取更好的結(jié)果。(2)SAR船舶在海洋中分布稀疏，在待處理的大場(chǎng)景影像中引入大量錨框?qū)眍~外計(jì)算資源消耗。

上述提到的預(yù)設(shè)錨框缺點(diǎn)使研究者開始關(guān)注并發(fā)展無錨框(Anchor-free)目標(biāo)檢測(cè)網(wǎng)絡(luò)，其典型代表為CornerNet[11],CenterNet[12],FCOS[13],FoveaBox[14]。不同于錨框檢測(cè)網(wǎng)絡(luò)，無錨框檢測(cè)網(wǎng)絡(luò)在檢測(cè)中無需預(yù)設(shè)錨框參數(shù)，在回歸階段直接預(yù)測(cè)邊界框的關(guān)鍵點(diǎn)位置[11,12]或者特征圖目標(biāo)點(diǎn)到船舶目標(biāo)邊界框的位置信息[13,14]來表示最終的邊界框。近年來，無錨框網(wǎng)絡(luò)也被成功用于SAR船舶檢測(cè)任務(wù)中[15–18]。船舶目標(biāo)具有長(zhǎng)寬比較大、任意朝向及密集排列的特點(diǎn)，然而上述網(wǎng)絡(luò)無論是否采用錨框，其結(jié)果輸出框的類型均為水平框，無法適應(yīng)任意朝向下船舶外輪廓以及航向精確輸出的需求。

為了滿足以上需求，研究者通過添加額外的角度信息或者使用嵌入方位信息的4個(gè)頂點(diǎn)坐標(biāo)來表示旋轉(zhuǎn)框。受RRPN[19],RCNN[20]在文本檢測(cè)領(lǐng)域的啟發(fā)，研究者在光學(xué)遙感目標(biāo)檢測(cè)中發(fā)展出了SCRDet[21],R3Det[22],ReDet[23]等網(wǎng)絡(luò)。然而，不同于光學(xué)遙感影像中的檢測(cè)目標(biāo)，SAR影像中的船舶目標(biāo)具有弱的紋理特征且影像信噪比低、視覺場(chǎng)景較為單調(diào)，這些綜合因素導(dǎo)致直接使用光學(xué)檢測(cè)模型并不能取得良好的檢測(cè)結(jié)果。Wang等人[24]首先將角度信息回歸整合進(jìn)邊界框回歸模塊中之后，一些適用于SAR船舶檢測(cè)任務(wù)的網(wǎng)絡(luò)模型被陸續(xù)提出，例如DRBox[25],DRBoxV2[26],MSARN[27],MSR2N[28],R2FA-Det[29],RRetinaNet[30]。然而以上方法均基于錨框檢測(cè)網(wǎng)絡(luò)，同時(shí)角度信息的引入使得研究者需要考慮額外平鋪不同角度的錨框來進(jìn)行訓(xùn)練時(shí)的偏移量預(yù)測(cè)，這無疑又增加了新的調(diào)參負(fù)擔(dān)。

目前，在SAR任意朝向船舶檢測(cè)任務(wù)中，無錨框研究相對(duì)較少?？紤]到無錨框無需設(shè)置錨框參數(shù)的優(yōu)點(diǎn)以及船舶外輪廓精確輸出的需求，本文基于FCOS提出了一種名為FCOSR的檢測(cè)算法。首先，在FCOS回歸分支輸出結(jié)果中添加角度參量，將水平框結(jié)果轉(zhuǎn)化為旋轉(zhuǎn)框結(jié)果，實(shí)現(xiàn)了任意朝向下的船舶目標(biāo)檢測(cè)。其次，在檢測(cè)頭部網(wǎng)絡(luò)中使用基于可形變卷積的9點(diǎn)特征參與目標(biāo)置信度的預(yù)測(cè)和殘差回歸分支邊界框偏移量的預(yù)測(cè)，提升了網(wǎng)絡(luò)的感受野，使得網(wǎng)絡(luò)不再局限于點(diǎn)周圍的像素特征，而在目標(biāo)層次上進(jìn)行預(yù)測(cè)，降低了陸上虛警并提高了邊界框的回歸精度。最后，在訓(xùn)練階段采用自適應(yīng)正負(fù)樣本選擇(Rotatable Adaptive Trainins Sample Selection,RATSS)，為每個(gè)船舶樣本分配距離目標(biāo)中心的正樣本點(diǎn)，使得目標(biāo)能夠在合適的特征層上獲得更多的正樣本點(diǎn)參與訓(xùn)練，從而實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)檢測(cè)精度的提升。

2 FCOS算法原理

FCOS[13]框架如圖1所示，通過ResNet50和FPN (Feature Pyramid Network)輸出P3,P4,P5,P6,P7融合特征圖，之后通過檢測(cè)頭部網(wǎng)絡(luò)輸出每個(gè)特征圖上各個(gè)點(diǎn)位置的特征向量，用于表示最后的邊界框結(jié)果。

圖1 FCOS算法的基礎(chǔ)框架圖Fig.1 The basic framework of the FCOS

FCOS不同于錨框檢測(cè)網(wǎng)絡(luò)的部分主要表現(xiàn)在以下兩點(diǎn)。

2.1 檢測(cè)頭部網(wǎng)絡(luò)

如圖2所示，F(xiàn)COS通過回歸分支和分類分支直接對(duì)特征圖Pi上的每個(gè)點(diǎn)位置(x,y)回歸一個(gè)位置向量(l,t,r,b)和C個(gè)類別目標(biāo)的置信度，如圖3(a)所示，位置向量用于表示點(diǎn)位置到邊界框邊界的距離，不需要與錨框共同作用，直接表示了目標(biāo)邊界框。這種預(yù)測(cè)方式去除了檢測(cè)過程中的錨框設(shè)定，帶來了更少的模型參數(shù)調(diào)整。

圖2 FCOS的檢測(cè)頭部網(wǎng)絡(luò)Fig.2 The structure of the FCOS detection head network

圖3 水平框與旋轉(zhuǎn)框的參數(shù)表示Fig.3 The parameters representation of horizontal bounding box and rotatable bounding box

FCOS引入了Center-ness用于描述特征圖中點(diǎn)位置到目標(biāo)中心距離的遠(yuǎn)近，將特征點(diǎn)的回歸真值(l*,t*,r*,b*)代入式(1)計(jì)算獲得，如圖2所示，F(xiàn)COS添加Center-ness分支預(yù)測(cè)特征圖點(diǎn)位置的c enterness*，通過加權(quán)邊界框損失值和目標(biāo)置信度來抑制遠(yuǎn)離目標(biāo)中心點(diǎn)的低質(zhì)量邊界框，實(shí)現(xiàn)檢測(cè)性能的提高。

2.2 樣本選擇方式

圖4展示了基于錨框和基于點(diǎn)位置的正負(fù)樣本選擇策略。如圖4(a)所示，錨框檢測(cè)網(wǎng)絡(luò)在特征圖點(diǎn)位置中平鋪不同長(zhǎng)寬比、數(shù)量以及尺寸的錨框，計(jì)算錨框和樣本邊界框的交并比后通過固定的閾值篩選訓(xùn)練過程中的正負(fù)樣本。FCOS由于檢測(cè)中無需設(shè)置錨框，因此采用基于特征圖點(diǎn)位置的正負(fù)樣本選擇方式，如圖4(b)所示，將落入樣本范圍內(nèi)的點(diǎn)當(dāng)作正樣本。計(jì)算這些點(diǎn)位置到樣本邊界的最大距離，與不同特征層負(fù)責(zé)的最大距離范圍進(jìn)行比較，將落入范圍內(nèi)的目標(biāo)當(dāng)作正樣本點(diǎn)，否則為負(fù)樣本點(diǎn)。通過這種范圍限制將不同尺寸的目標(biāo)分配給合適的特征層進(jìn)行訓(xùn)練，其中FCOS設(shè)置的P3—P7層的范圍為((–1,64),(64,128),(128,256),(256,512),(512,∞))。

圖4 正負(fù)樣本選擇方式對(duì)比Fig.4 Comparison of the positive/negative sample selection methods

3 本文方法與原理

FCOSR網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，本文在FCOS回歸分支的輸出結(jié)果中增加參數(shù)θ，將水平框轉(zhuǎn)化為旋轉(zhuǎn)框結(jié)果用于擬合任意朝向下船舶目標(biāo)的外輪廓；為了避免直接回歸邊界框帶來的精度損失，在檢測(cè)頭部網(wǎng)絡(luò)中添加基于可形變卷積的9點(diǎn)特征表示用于分類分支目標(biāo)置信度的預(yù)測(cè)和殘差回歸分支邊界框輸出殘差值的預(yù)測(cè)；為了進(jìn)一步提高網(wǎng)絡(luò)的檢測(cè)精度，本網(wǎng)絡(luò)在訓(xùn)練階段使用RATSS算法，使得船舶樣本能夠依據(jù)自身尺寸在特定大小的特征層獲取接近目標(biāo)中心的正樣本點(diǎn)進(jìn)行訓(xùn)練。在本節(jié)最 后給出整個(gè)網(wǎng)絡(luò)的損失函數(shù)。

圖5 FCOSR結(jié)構(gòu)圖Fig.5 The architecture of FCOSR

3.1 旋轉(zhuǎn)邊界框的參數(shù)化表示方法

本文在FCOS輸出的基礎(chǔ)上增加了角度θ的輸出，圖3(b)展示了回歸結(jié)果l,t,r,b,θ與船舶的對(duì)應(yīng)關(guān)系。將旋轉(zhuǎn)框最低點(diǎn)作為x軸的原點(diǎn)，此時(shí)θ定義為x軸逆時(shí)針旋轉(zhuǎn)觸碰到檢測(cè)框第1條邊的角度，范圍為[-90°,0)。參數(shù)b表示特征圖Pi上點(diǎn)位置(x,y)觸碰到該邊的垂直距離，r,t,l則逆時(shí)針標(biāo)識(shí)該點(diǎn)到旋轉(zhuǎn)矩形框各邊的垂直距離。然后將該點(diǎn)的旋轉(zhuǎn)框回歸結(jié)果使用下面公式進(jìn)行轉(zhuǎn)化，并用于后續(xù)損失函數(shù)的計(jì)算：

3.2 基于可形變卷積的9點(diǎn)特征表示

由于FCOS網(wǎng)絡(luò)中的Center-ness分支僅考慮4條邊的關(guān)系，未考慮角度參量的影響，因此本文設(shè)計(jì)了一種基于可形變卷積[31]的9點(diǎn)特征表示方式實(shí)現(xiàn)目標(biāo)置信度的預(yù)測(cè)，加強(qiáng)回歸分支和分類分支的信息交互，如圖5藍(lán)線所示。具體過程如下：

(1) 初始邊界框回歸結(jié)果獲取：對(duì)于特征圖中的點(diǎn)位置 (x,y)，使用多層卷積獲取初始的邊界框回歸矢量(l′,t′,r′,b′,θ′)。

(2) 9點(diǎn)固定采樣位置獲取：利用該特征矢量獲取圖6(a)所示的9個(gè)特征點(diǎn)，圖中展示了各點(diǎn)與回歸矢量的關(guān)系，然后代入式(7)獲取圖6(b)的9個(gè)特征點(diǎn)，并映射回原始特征圖尺寸。式中xi,yi依次代入圖6(a) 9個(gè)點(diǎn)的坐標(biāo)值為轉(zhuǎn)化后的點(diǎn)坐標(biāo)位置。

圖6 9點(diǎn)位置的坐標(biāo)變換Fig.6 Coordinate transformation of the nine points location

(3) 基于可形變卷積的目標(biāo)置信度回歸 ：將獲取到的9點(diǎn)坐標(biāo)作為特征圖點(diǎn)位置 (x,y)可形變卷積的偏移量，分別用于分類分支的目標(biāo)置信度回歸和后續(xù)殘差回歸分支邊界框偏移量參數(shù)的計(jì)算。

3.3 殘差回歸分支

為了進(jìn)一步提高旋轉(zhuǎn)框的定位精度，本文基于9點(diǎn)特征表示的信息，將旋轉(zhuǎn)框的回歸問題轉(zhuǎn)化為殘差學(xué)習(xí)問題。針對(duì)初始回歸矢量 (l′,t′,r′,b′,θ′)，通過3.2節(jié)所述方法將其轉(zhuǎn)化為可形變卷積的偏移量參與運(yùn)算，如圖5紅線所示，添加獨(dú)立回歸分支預(yù)測(cè)旋轉(zhuǎn)框的偏移殘差矢量 Δl′,Δt′,Δr′,Δb′,Δθ′，因此最終的檢測(cè)框被表示為(l,t,r,b,θ)=(Δl′×l′,Δt′×t′,Δr′×r′,Δb′×b′,Δθ′×θ′)。

3.4 旋轉(zhuǎn)框自適應(yīng)訓(xùn)練樣本選擇策略

ATSS (Adaptive Training Sample Selection)[32]算法已證明了其正負(fù)樣本選擇策略的優(yōu)越性，然而該算法采用水平框的輸入，無法直接作用于旋轉(zhuǎn)框。因此，本文先取船舶樣本的最小外接水平框送入ATSS算法中，并在最后添加了點(diǎn)區(qū)域判定，使其實(shí)現(xiàn)旋轉(zhuǎn)框網(wǎng)絡(luò)訓(xùn)練過程中的自適應(yīng)正負(fù)樣本選擇。該方法稱為RATSS，具體算法流程如下：

步驟1 船舶樣本最小外接水平邊界框獲?。簩?duì)于每個(gè)船舶樣本，獲取其最小外接水平邊界框。

步驟2 候選目標(biāo)點(diǎn)集合獲?。哼x擇每個(gè)特征層中距離船舶樣本中心最近的k個(gè)點(diǎn)加入到候選目標(biāo)點(diǎn)集合中，并為每個(gè)點(diǎn)設(shè)定尺寸為8s大小的水平錨框。其中，s為特征圖下采樣的步幅。值得注意的是，這里平鋪的錨框僅用于計(jì)算交并比，不用于指導(dǎo)目標(biāo)檢測(cè)。

步驟3 自適應(yīng)IoU閾值獲?。河?jì)算候選目標(biāo)點(diǎn)集合中各點(diǎn)預(yù)設(shè)框與船舶樣本水平邊界框的IoU，計(jì)算閾值I=mean(IoU)+std(IoU)。當(dāng)候選點(diǎn)IoU大于I則判定該點(diǎn)為正樣本，否則為負(fù)樣本。

步驟4 點(diǎn)區(qū)域判定：對(duì)于上述獲取的正樣本點(diǎn)判定該點(diǎn)是否坐落于船舶樣本旋轉(zhuǎn)邊界框的區(qū)域范圍，為了避免點(diǎn)坐落于船舶邊界帶來的樣本模糊問題，如圖7所示，將落于船舶樣本中心0.8倍長(zhǎng)寬范圍內(nèi)的點(diǎn)標(biāo)記為最終的正樣本點(diǎn)，否則標(biāo)記為負(fù)樣本點(diǎn)。為了避免小目標(biāo)的丟失，當(dāng)目標(biāo)沒有正樣本點(diǎn)時(shí)，直接采取步驟3的結(jié)果。

圖7 訓(xùn)練樣本的篩選準(zhǔn)則(藍(lán)：正樣本點(diǎn)，灰：負(fù)樣本點(diǎn))Fig.7 The selection criteria for training samples (Blue:Positive sample points;Gray:Negative sample points)

通過以上算法，如果點(diǎn)位置 (x,y)與船舶樣本邊界框G={x*,y*,w*,h*,θ*}相關(guān)聯(lián)，那么最小化該位置的矢量t′={x′,y′,w′,h′,θ′} 與G的距離即可完成網(wǎng)絡(luò)模型權(quán)重的更新。

3.5 損失函數(shù)

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)由分類損失、初始邊界框以及精細(xì)化邊界框的精度誤差3部分組成，如式(8)所示：

其中，Npos表示正樣本的個(gè)數(shù)，λ0,λ1為旋轉(zhuǎn)框損失函數(shù)權(quán)重調(diào)整因子用1指示船舶類別，0表示背景；px,y為目標(biāo)置信度為回歸分支的輸出值，分別對(duì)應(yīng)著初始回歸值和精細(xì)化回歸值，為船舶樣本邊界框。

分類損失函數(shù)Lcls采用Focal Loss[33]，公式如下，α表示平衡因子，用于平衡正負(fù)樣本的數(shù)量。

Smooth L1 Loss用于初始邊界框以及精細(xì)化邊界框的參數(shù)回歸，表示如下：

為了保持不同大小目標(biāo)損失函數(shù)的尺度一致性，上式中ti計(jì)算如下：

式中，(x′,y′,h′,w′,θ′)由 (l′,t′,r′,b′,θ′)通過式(2)—式(6)轉(zhuǎn)化得到，(x′,y′,h′,w′,θ′)表示預(yù)測(cè)框的結(jié)果，(x*,y*,h*,w*,θ*)表示船舶樣本邊界框的結(jié)果。(x′,y′,h′,w′,θ′)替換為(x,y,w,h,θ)即可求得精細(xì)化邊界框的損失。

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本網(wǎng)絡(luò)模型的檢測(cè)性能，本文在SSDD+[34]和HRSID[35]數(shù)據(jù)集上進(jìn)行了驗(yàn)證實(shí)驗(yàn)。

(1) SSDD+：該數(shù)據(jù)集于2017年出版，是SAR船舶領(lǐng)域較早出版的SAR船舶檢測(cè)數(shù)據(jù)集，由Radarsat-2,TerraSAR-X,Sentinel-1影像組成，分辨率范圍為1～15 m。數(shù)據(jù)集中共有1160張SAR影像切片，共計(jì)2456個(gè)船舶目標(biāo)。

(2) HRSID：該數(shù)據(jù)集于2020年出版，用于船舶目標(biāo)檢測(cè)與船舶實(shí)例分割，由Sentinel-1,Terra-SAR-X影像組成，分辨率為0.5 m,1.0 m以及3.0 m。HRSID數(shù)據(jù)集中共有5604張SAR影像切片，共計(jì)16591個(gè)船舶目標(biāo)。

4.2 性能指標(biāo)

本文引入了Precision(P),Recall(R),mean Average Precision(mAP)下、訓(xùn)練時(shí)間Time以及每秒幀數(shù)FPS用于評(píng)估不同模型的表現(xiàn)，mAP指標(biāo)的具體表示如表1所示，本文所有mAP以及召回率R單位均為%。

表1 COCO指標(biāo)Tab.1 COCO metrics

式中，Time代表模型訓(xùn)練過程中，平均每一次迭代所需的時(shí)間，其中，n為模型訓(xùn)練至收斂的迭代次數(shù)，ti代表訓(xùn)練第i次所需要的時(shí)間。FPS代表檢測(cè)速度的快慢，其中N為測(cè)試集的樣本數(shù)量，T為測(cè)試集檢測(cè)所需時(shí)間。

4.3 執(zhí)行細(xì)節(jié)

(1) 影像預(yù)處理：由于HRSID數(shù)據(jù)集提供實(shí)例分割標(biāo)注，未提供旋轉(zhuǎn)框標(biāo)注，因此在處理時(shí)對(duì)該數(shù)據(jù)集影像標(biāo)注格式中的實(shí)例分割字段通過取最小傾斜外接矩陣當(dāng)作樣本的旋轉(zhuǎn)框真值標(biāo)注。

(2) 數(shù)據(jù)增廣：為了加強(qiáng)數(shù)據(jù)集在網(wǎng)絡(luò)模型中的魯棒性，提高網(wǎng)絡(luò)對(duì)于不同角度船舶的敏感性，網(wǎng)絡(luò)內(nèi)部集成了常見的數(shù)據(jù)增強(qiáng)方式，在影像訓(xùn)練時(shí)會(huì)隨機(jī)進(jìn)行對(duì)比度增強(qiáng)、旋轉(zhuǎn)、錯(cuò)切、平移以及鏡像翻轉(zhuǎn)。

(3) 訓(xùn)練參數(shù)設(shè)置：所有的網(wǎng)絡(luò)模型均基于開源的mmdetection目標(biāo)檢測(cè)框架開發(fā)，并在 Intel i9-10900k以及Nvidia RTX2080Ti GPU 上使用隨機(jī)梯度下降 (SGD) 算法進(jìn)行訓(xùn)練。每次迭代的批量大小為 4。初始學(xué)習(xí)率2e-3，并在第8,11,16次下降至原來的0.1，驗(yàn)證時(shí)交并比閾值設(shè)置為0.1，最小目標(biāo)置信度閾值設(shè)置為0.05。損失函數(shù)調(diào)控因子λ0和λ1分別設(shè)置為1.25和1.5。Focal Loss損失函數(shù)a設(shè) 置為0.25，λ設(shè)置為2。Smooth L1 Loss中的β設(shè)置為0.11。

4.4 算法性能評(píng)估

本節(jié)主要開展正負(fù)樣本選擇策略對(duì)比用于檢驗(yàn)RATSS的效果，并通過消融實(shí)驗(yàn)體現(xiàn)9點(diǎn)特征表示和殘差回歸分支的作用。

4.4.1 正負(fù)樣本選擇策略對(duì)比

為了驗(yàn)證RATSS算法的有效性，本文與3種基于點(diǎn)位置的樣本選擇方式進(jìn)行了對(duì)比，分別標(biāo)識(shí)為a,b,c。如圖8所示，采樣方式a,b將落入船舶樣本范圍內(nèi)的所有點(diǎn)進(jìn)行訓(xùn)練，兩者區(qū)別在于限定范圍不同。采樣方式c則采用FCOS的正負(fù)樣本選擇策略，限定不同特征層負(fù)責(zé)訓(xùn)練的最大樣本點(diǎn)距離。為了驗(yàn)證RATSS步驟4點(diǎn)區(qū)域判定的作用，本文增加了去除該步驟的對(duì)比實(shí)驗(yàn)。在SSDD+數(shù)據(jù)集上的驗(yàn)證結(jié)果見表2。

圖8 不同的正樣本選擇方法Fig.8 Different positive sample selection methods

表2顯示RATSS的結(jié)果明顯優(yōu)于采樣方式a,b,c，在k值為5的情況下，mAP50值分別高出16.0%,6.1%,8.2%。表2結(jié)果顯示不同方法中 mAP50的差異主要體現(xiàn)在中大型船舶目標(biāo)。對(duì)于中大型目標(biāo)而言，采樣方式a,b容易在P3層分配大量的正樣本點(diǎn)進(jìn)行訓(xùn)練，然而該層對(duì)于中大型船舶目標(biāo)而言特征提取能力較弱，使得檢測(cè)率偏低。采樣方式c由于采用最大距離限定，當(dāng)特征層的點(diǎn)位置接近于船舶樣本中心時(shí)，計(jì)算獲得的最大距離容易小于特征層負(fù)責(zé)的范圍，使得該點(diǎn)被誤分配為負(fù)樣本，這導(dǎo)致了不合理的樣本選擇。

圖9記錄了RATSS訓(xùn)練過程中不同尺寸船舶目標(biāo)樣本點(diǎn)在不同特征層的分布情況。由于RATSS采用平鋪水平錨框與船舶樣本邊界框計(jì)算交并比的方式，使得不同尺寸的目標(biāo)在適應(yīng)大小的特征層中具有較高的交并比，因此網(wǎng)絡(luò)會(huì)自動(dòng)將目標(biāo)分配給合適的特征層進(jìn)行訓(xùn)練，同時(shí)中心選擇候選點(diǎn)的方式，也使得選擇的樣本點(diǎn)趨向于目標(biāo)中心，表征出更高的檢測(cè)精度。對(duì)比去除RATSS步驟4點(diǎn)區(qū)域判定的結(jié)果，m AP50提升了4.5%，表明了點(diǎn)區(qū)域判定步驟的有效性。從表2訓(xùn)練時(shí)間看出，該方法僅帶來8%的訓(xùn)練時(shí)間損耗。

表2 不同樣本選擇方法的實(shí)驗(yàn)結(jié)果Tab.2 Results of different samples selection methods

圖9 用RATSS后的正樣本在不同特征層的分布比例Fig.9 The distribution ratio of positive samples in different feature layers after using the RATSS

本文調(diào)整超參數(shù)k值進(jìn)行了實(shí)驗(yàn)，從表2的結(jié)果可以看出雖然參數(shù)k值造成了檢測(cè)結(jié)果的波動(dòng)，但其檢測(cè)結(jié)果依舊高于非RATSS的采樣方式，且mAP50的差異保持在1.9%，同時(shí)不同參數(shù)帶來的訓(xùn)練時(shí)間損失幾乎可以忽略，表明RATSS方法的穩(wěn)定性。

4.4.2 消融實(shí)驗(yàn)

本節(jié)開展了消融實(shí)驗(yàn)用于驗(yàn)證9點(diǎn)特征表示以及殘差回歸分支對(duì)檢測(cè)的影響，所得結(jié)果見表3。

表3 消融實(shí)驗(yàn)結(jié)果(%)Tab.3 Results of ablation experiments (%)

4.4.2.1 9點(diǎn)特征表示的影響

從表3的檢測(cè)結(jié)果可以看出，將9點(diǎn)特征表示應(yīng)用于分類分支后各項(xiàng)指標(biāo)均獲得了提升。圖10展示了部分場(chǎng)景下的檢測(cè)結(jié)果，可以看出9點(diǎn)特征參與目標(biāo)置信度預(yù)測(cè)后，降低了第1行陸地邊緣以及第2行岸上虛警目標(biāo)的干擾；第3行的檢測(cè)結(jié)果顯示了該方法有利于提升復(fù)雜環(huán)境下的目標(biāo)檢測(cè)率；第4行結(jié)果則說明該方法有利于提高小目標(biāo)的檢測(cè)率。這是因?yàn)榭尚巫兙矸e提升了分類分支的感受野，使得目標(biāo)置信度預(yù)測(cè)時(shí)不再局限于錨點(diǎn)周圍像素信息，而在目標(biāo)層次上進(jìn)行預(yù)測(cè)。同時(shí)初始邊界框的參數(shù)作為偏移量送入分類網(wǎng)絡(luò)中，加強(qiáng)了分支之間的信息交互，有利于提升邊界框的回歸精度。

4.4.2.2 殘差回歸分支的影響

表3顯示殘差回歸分支在保障小型目標(biāo)檢測(cè)效果的前提下，有效提升了中大船目標(biāo)的 mAP精度，表明了該方法的有效性。

圖10第2、第3兩行的(c)(d)列可以看出，殘差回歸分支有效地將偏離目標(biāo)邊界框的檢測(cè)結(jié)果進(jìn)行了校正，使其更加貼近船舶目標(biāo)。同時(shí)第4行的結(jié)果也說明了添加殘差回歸分支并不會(huì)對(duì)小型目標(biāo)造成精度的損失。殘差回歸分支利用9點(diǎn)特征融合了目標(biāo)周圍的背景信息用來預(yù)測(cè)邊界框的偏移量，有效地避免了旋轉(zhuǎn)目標(biāo)檢測(cè)過程中過多關(guān)注目標(biāo)自身特征的問題，因此能夠有效地提升邊界框的回歸精度。

圖10 消融實(shí)驗(yàn)結(jié)果對(duì)比Fig.10 Comparison of ablation experiment results

4.4.2.3 討論

表4記錄了SSDD+數(shù)據(jù)集下遠(yuǎn)岸與近岸環(huán)境下的實(shí)驗(yàn)結(jié)果。結(jié)果顯示本文的方法在直接輸出5參數(shù)的基礎(chǔ)框架上，近海和遠(yuǎn)海的mAP分別提升了14.6%和2.3%，mAPL提升了32.6%和37.5%。本文方法采用了基于可形變卷積的9點(diǎn)特征表示參與目標(biāo)置信度以及邊界框殘差值的預(yù)測(cè)，因此對(duì)于船舶目標(biāo)而言無論近岸還是遠(yuǎn)海提升效果都更為明顯。

表4 近岸與遠(yuǎn)岸船舶的mAP結(jié)果值(%)Tab.4 The mAP results of the ships in inshore and offshore (%)

4.5 網(wǎng)絡(luò)整體性能對(duì)比

本節(jié)開展與FCOS網(wǎng)絡(luò)、其他錨框旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)的對(duì)比，用來進(jìn)一步說明本文方法的精度和速度性能。

4.5.1 與FCOS網(wǎng)絡(luò)的比較

本節(jié)比較了FCOSR與FCOS的差異，同時(shí)添加了變換FCOSR骨干網(wǎng)絡(luò)和通道數(shù)的實(shí)驗(yàn)，表5記錄了相應(yīng)的實(shí)驗(yàn)結(jié)果。從表5的結(jié)果可以看出，ResNet50+256通道數(shù)的組合相較于ResNet34+128通道數(shù)的組合并未帶來實(shí)際性的性能提升，卻額外增加了訓(xùn)練時(shí)間和檢測(cè)時(shí)間，這是由于簡(jiǎn)單的特征提取網(wǎng)絡(luò)就可以充分?jǐn)M合SAR影像中較弱的船舶紋理特征。綜合考慮時(shí)間與性能的差異，本文將Res-Net34+128通道數(shù)當(dāng)作最終的網(wǎng)絡(luò)模型設(shè)置。

表5結(jié)果中SSDD+數(shù)據(jù)集上FCOS的 mAP50高于FCOSR的結(jié)果2%，這是由于兩者交并比的計(jì)算方式不同，旋轉(zhuǎn)框的交并比受角度影響較大，因此表征出略低于FCOS的檢測(cè)結(jié)果。但是在HRSID數(shù)據(jù)集中本文的網(wǎng)絡(luò)表現(xiàn)出優(yōu)于FCOS的 mAP50。觀察圖11可以看到水平框的結(jié)果無法擬合目標(biāo)輪廓，無法直接獲取船舶的朝向信息，因此無法滿足任意朝向下的船舶目標(biāo)檢測(cè)需求。如圖11(c)綠色區(qū)域所示，對(duì)于并排船舶目標(biāo)而言，F(xiàn)COS容易出現(xiàn)并排船舶目標(biāo)的漏檢，而FCOSR由于輸出旋轉(zhuǎn)框，有效地避免了NMS階段船舶目標(biāo)的漏檢，且旋轉(zhuǎn)框的引入降低了模型訓(xùn)練時(shí)非船舶像素的干擾，減少了岸上的虛警目標(biāo)。

圖11 FCOSR和FCOS的檢測(cè)結(jié)果(藍(lán)色：真值；黃色：虛警；綠色：漏檢；紅色：檢測(cè)結(jié)果)Fig.11 Results of FCOS and FCOSR (Blue:Ground truth;Yellow:False alarm;Green:Missing ship;Red:Detected result)

表5 FCOS與FCOSR的對(duì)比Tab.5 The performance comparison of FCOS and FCOSR

4.5.2 與錨框旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)的比較

為了驗(yàn)證本網(wǎng)絡(luò)的檢測(cè)能力，本文在SSDD+以及HRSID數(shù)據(jù)集上將FCOSR與雙階段錨框旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)ReDet,R3Det,FasterRCNN-O[36]以及單階段錨框旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)R-RetinaNet進(jìn)行了性能對(duì)比。表6結(jié)果顯示FCOSR實(shí)現(xiàn)了最高的 mAP50值與召回率，證明了本文方法的有效性。同時(shí)，F(xiàn)COSR網(wǎng)絡(luò)采用ResNet34+128通道數(shù)的組合，以及單階段的設(shè)計(jì)方法，使得本文算法相較于其他旋轉(zhuǎn)檢測(cè)方法保持著最小的模型尺寸、最快的訓(xùn)練時(shí)間和檢測(cè)速率。

表6 不同檢測(cè)網(wǎng)絡(luò)的精度對(duì)比Tab.6 The comparison of the accuracy of different detection networks

圖12展示了純海面小型船舶目標(biāo)的檢測(cè)結(jié)果，本文方法并未出現(xiàn)目標(biāo)漏檢，且表現(xiàn)出更高的定位精度和召回率。由于SSDD+數(shù)據(jù)集和HRSID中船舶樣本長(zhǎng)度分布不均勻，設(shè)定的錨框并不能充分適應(yīng)樣本長(zhǎng)度的分布，造成基于錨框的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)于小目標(biāo)的丟失。而FCOSR無需預(yù)設(shè)錨框，避免了錨框設(shè)置帶來的精度損失，因此對(duì)于小型船舶目標(biāo)具有良好的檢測(cè)效果。

圖12 遠(yuǎn)岸目標(biāo)的檢測(cè)結(jié)果(藍(lán)色：真值；黃色：虛警；綠色：漏檢；紅色：檢測(cè)結(jié)果)Fig.12 Results of the offshore ships (Blue:Ground truth;Yellow:False Alarm;Green:Missing ship;Red:Detected result)

對(duì)比圖13近岸背景下不同網(wǎng)絡(luò)模型的檢測(cè)結(jié)果，本文的方法采用了9點(diǎn)特征表示突出目標(biāo)整體，并將其作為可形變卷積的參數(shù)輸入，使得目標(biāo)置信度的預(yù)測(cè)和邊界框的回歸融合了背景信息，此外提升的感受野使得結(jié)果的預(yù)測(cè)更關(guān)注于目標(biāo)，因此有利于減少檢測(cè)過程中的虛警目標(biāo)。在圖13中，相較于ReDet,R-RetinaNet，本方法并未出現(xiàn)虛警目標(biāo)和漏檢目標(biāo)，這說明了FCOSR能夠在近岸背景下實(shí)現(xiàn)良好的船舶檢測(cè)效果。

圖13 近岸目標(biāo)的檢測(cè)結(jié)果 (藍(lán)色：真值；黃色：虛警；綠色：漏檢；紅色：檢測(cè)結(jié)果)Fig.13 Results of the inshore ships (Blue:Ground truth;Yellow:False alarm;Green:Missing ship;Red:Detected result)

對(duì)比圖14河道復(fù)雜環(huán)境下的檢測(cè)結(jié)果，本文的方法相較于FasterRCNN-O,ReDet,R3Det對(duì)密集分布的船舶目標(biāo)表現(xiàn)出更高的召回率，且在陸地中并未出現(xiàn)虛警目標(biāo)，表征出更低的陸上虛警。綜上所述，本文的方法相較于錨框檢測(cè)網(wǎng)絡(luò)，無論是遠(yuǎn)海還是近岸復(fù)雜環(huán)境背景下均表現(xiàn)出更好的檢測(cè)性能和魯棒性。

5 結(jié)論

本文在FCOS的基礎(chǔ)上通過添加角度參量θ使其適用于任意朝向下的船舶目標(biāo)檢測(cè)，并基于可形變卷積設(shè)計(jì)了一種9點(diǎn)特征表示，用于目標(biāo)置信度的預(yù)測(cè)和殘差回歸分支偏移量的預(yù)測(cè)。同時(shí)通過一種自適應(yīng)樣本選擇策略RATSS自動(dòng)選擇訓(xùn)練過程中的正負(fù)樣本，降低了低質(zhì)量樣本對(duì)檢測(cè)精度的影響。SSDD+和HRSID數(shù)據(jù)集檢測(cè)結(jié)果表明，相較于錨框旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)，本文算法無論是遠(yuǎn)岸還是近岸復(fù)雜環(huán)境的多尺度船舶目標(biāo)，均能保證更高的檢測(cè)精度。在檢測(cè)效率上，本文采用的模型也具有最小的模型尺寸和更快的檢測(cè)速率，能夠適應(yīng)未來要求更高的實(shí)時(shí)船舶目標(biāo)檢測(cè)任務(wù)。