RSDD-SAR：SAR艦船斜框檢測(cè)數(shù)據(jù)集

徐從安 蘇 航 李健偉 劉 瑜 姚力波 高 龍 閆文君 汪韜陽

①(海軍航空大學(xué) 煙臺(tái) 264000)

②(北京理工大學(xué)前沿技術(shù)研究院 濟(jì)南 250300)

③(92877部隊(duì) 舟山 316000)

④(武漢大學(xué) 武漢 430000)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)是一種主動(dòng)式微波成像雷達(dá)，具有全天時(shí)、全天候的觀測(cè)能力，在民用和軍用領(lǐng)域應(yīng)用廣泛。艦船檢測(cè)作為SAR圖像解譯的重要分支，對(duì)于海上商業(yè)和軍事活動(dòng)監(jiān)管具有重要意義。

近年來，隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的檢測(cè)算法取得了突破性的進(jìn)展。相較于傳統(tǒng)方法，深度學(xué)習(xí)算法具有無需手工設(shè)計(jì)特征、泛化能力強(qiáng)、可端到端訓(xùn)練等優(yōu)點(diǎn)，精度有了較大提升，因此逐漸成為檢測(cè)算法的主流。

但深度學(xué)習(xí)作為數(shù)據(jù)驅(qū)動(dòng)的算法，其訓(xùn)練離不開大量數(shù)據(jù)的支撐，因此相關(guān)學(xué)者也制作并公布了一些SAR艦船檢測(cè)數(shù)據(jù)集。自從Li等人[1]公開第1個(gè)SAR艦船檢測(cè)數(shù)據(jù)集SSDD，基于深度學(xué)習(xí)的SAR艦船檢測(cè)工作開始有了較大的進(jìn)展[2—4]。SSDD之后，孫顯等人[5]公布了AIR-SARShip-1.0和AIRSARShip-2.0數(shù)據(jù)集，Wang等人[6]公布了SARShip-Dataset數(shù)據(jù)集，Wei等人[7]公布了HRSID數(shù)據(jù)集，Zhang等人[8]公布了LS-SSDD-v1.0數(shù)據(jù)集，Lei等人[9]公布了SRSDD-v1.0數(shù)據(jù)集，為SAR艦船檢測(cè)任務(wù)提供了更強(qiáng)力的數(shù)據(jù)支撐。此外，Huang等人[10]公布了首個(gè)用于SAR艦船識(shí)別任務(wù)的數(shù)據(jù)集OpenSARShip，Li等人[11]對(duì)OpenSARShip進(jìn)一步擴(kuò)充，公布了OpenSARShip 2.0，Hou等人[12]公布了高分辨SAR艦船識(shí)別數(shù)據(jù)集FUSAR-Ship?，F(xiàn)有公開數(shù)據(jù)集詳細(xì)信息如表1所示。

表1 現(xiàn)有公開數(shù)據(jù)集詳細(xì)信息Tab.1 Detailed information of existing public datasets

上述數(shù)據(jù)集在SAR艦船檢測(cè)識(shí)別中獲得了廣泛應(yīng)用，其中，除了SSDD數(shù)據(jù)集后續(xù)添加斜框標(biāo)注[13]，HRSID數(shù)據(jù)集語義分割標(biāo)注可轉(zhuǎn)換為斜框標(biāo)注，及SRSDD-v1.0數(shù)據(jù)集，其余檢測(cè)數(shù)據(jù)集都是基于垂直邊框標(biāo)注。相較于垂直邊框標(biāo)注，斜框標(biāo)注不僅可以精準(zhǔn)地表示艦船目標(biāo)，減少冗余干擾，而且可以獲取航向、長寬比等屬性信息。如圖1(a)所示，在近岸港口碼頭區(qū)域，環(huán)境較復(fù)雜，垂直邊框標(biāo)注艦船目標(biāo)易受岸上建筑物影響，尤其對(duì)于密集排列的艦船目標(biāo)，垂直邊框標(biāo)注會(huì)造成艦船目標(biāo)之間重疊，影響檢測(cè)性能。如圖1(b)所示，使用斜框標(biāo)注艦船目標(biāo)則可生成緊密的旋轉(zhuǎn)邊框，避免岸上建筑物干擾和重疊問題。如圖2所示，使用斜框標(biāo)注艦船目標(biāo)還可獲取長寬比和航向信息，對(duì)后續(xù)的航跡預(yù)測(cè)、態(tài)勢(shì)估計(jì)等具有重要意義。

圖1 不同標(biāo)注方式比較Fig.1 Comparison of different annotation methods

圖2 艦船目標(biāo)航向和長寬比信息Fig.2 The course and aspect ratio information of ship target

然而現(xiàn)有數(shù)據(jù)集僅SSDD，HRSID，SRSDDv1.0可用于斜框檢測(cè)，數(shù)據(jù)量遠(yuǎn)少于垂直邊框檢測(cè)數(shù)據(jù)集，難以滿足算法發(fā)展和實(shí)際應(yīng)用需求。因此，本文公開了SAR艦船斜框檢測(cè)數(shù)據(jù)集RSDDSAR，該數(shù)據(jù)集由84景高分3號(hào)數(shù)據(jù)和41景TerraSAR-X數(shù)據(jù)[14]切片及2景未剪裁大圖，共127景數(shù)據(jù)構(gòu)成，包含多種成像模式、多種極化方式、多種分辨率切片7000張，艦船實(shí)例10263個(gè)，通過自動(dòng)標(biāo)注和人工修正相結(jié)合的方式高效標(biāo)注。同時(shí)，本文對(duì)幾種常用的光學(xué)遙感圖像斜框檢測(cè)算法及SAR艦船斜框檢測(cè)算法進(jìn)行了實(shí)驗(yàn)與分析，并形成了基準(zhǔn)指標(biāo)，可供相關(guān)學(xué)者參考。最后，本文通過泛化能力測(cè)試，分析討論了RSDD-SAR數(shù)據(jù)集訓(xùn)練模型的泛化能力。

2 數(shù)據(jù)集構(gòu)建

2.1 數(shù)據(jù)集基礎(chǔ)信息

RSDD-SAR數(shù)據(jù)集由84景高分3號(hào)數(shù)據(jù)和41景TerraSAR-X數(shù)據(jù)切片及2景未剪裁大圖，共127景數(shù)據(jù)構(gòu)成。附錄1給出了每景數(shù)據(jù)的詳細(xì)信息，包含傳感器類型、經(jīng)緯度、獲取時(shí)間、成像模式、分辨率、極化方式、產(chǎn)品級(jí)別、入射角、成像幅寬、編號(hào)信息。如表2所示，以景號(hào)為1的數(shù)據(jù)為例，傳感器類型為高分3號(hào)，經(jīng)緯度為(E121.0，N37.9)，獲取時(shí)間為2017年10月17日，成像模式為FSII，分辨率為10 m，極化方式為HH，HV，產(chǎn)品級(jí)別為L1A級(jí)，入射角為19°～50°，成像幅寬為100 km，編號(hào)為0-1。

表2 原始數(shù)據(jù)詳細(xì)信息Tab.2 Detailed information of the raw data

2.2 數(shù)據(jù)集標(biāo)注

RSDD-SAR數(shù)據(jù)集斜框定義方式如圖3所示，采用長邊定義法。記斜框中心點(diǎn)坐標(biāo)為 (cx，cy)，長邊為h，短邊為w，x軸正方向與斜框長邊之間的夾角為θ，其中θ∈[-π/2，π/2)，順時(shí)針為正，逆時(shí)針為負(fù)，斜框標(biāo)注記為( cx，cy，h，w，θ)。

圖3 斜框定義方式Fig.3 Rotated bounding box definition method

RSDD-SAR數(shù)據(jù)集通過自動(dòng)標(biāo)注與人工修正相結(jié)合的方式高效標(biāo)注，流程如圖4所示，主要包括以下6個(gè)步驟：

圖4 標(biāo)注流程圖Fig.4 Annotation procedure

步驟1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理流程如圖5所示，主要包括5個(gè)步驟：(1)原始高分3號(hào)數(shù)據(jù)以.tiff格式存儲(chǔ)，TerraSAR-X數(shù)據(jù)以.cos格式存儲(chǔ)，首先利用軟件ENVI[15]和PIE-SAR[16]讀取原始SAR數(shù)據(jù)，獲取64位復(fù)數(shù)數(shù)據(jù)，由32位浮點(diǎn)型實(shí)部和32位浮點(diǎn)型虛部組成；(2)將復(fù)數(shù)數(shù)據(jù)轉(zhuǎn)換為32位浮點(diǎn)型幅度數(shù)據(jù)，幅度是SAR影像最主要的特征之一，反映不同物體后向散射強(qiáng)弱；(3)裁剪多余陸地區(qū)域，獲取海上感興趣區(qū)域；(4)通過線性灰度拉伸將32位浮點(diǎn)型數(shù)據(jù)轉(zhuǎn)換為8位整型數(shù)據(jù)，提高數(shù)據(jù)的可視性、減少數(shù)據(jù)量大?。?5)為與PASCAL VOC數(shù)據(jù)集[17]格式保持一致，將單通道擴(kuò)展為3通道.jpg格式數(shù)據(jù)。另外，2景未剪裁大圖僅利用步驟1中的(1)，(2)，(4)，(5)步驟處理，其中高分3號(hào)未剪裁大圖尺寸為14848×40448，TerraSAR-X未剪裁大圖尺寸為14336×32256。

圖5 數(shù)據(jù)預(yù)處理流程Fig.5 Data preprocessing procedure

步驟2 數(shù)據(jù)切片

數(shù)據(jù)切片方式如圖6所示，將步驟1處理好的幅度數(shù)據(jù)不重疊地切分成尺寸為512×512的切片，并根據(jù)切片所在行/列對(duì)切片命名，如編號(hào)為1的數(shù)據(jù)，第1行、第3列切片命名為1_0_2。

圖6 數(shù)據(jù)切片方式Fig.6 Data cutting method

步驟3 訓(xùn)練SAR艦船目標(biāo)斜框檢測(cè)模型

在SSDD數(shù)據(jù)集上訓(xùn)練文獻(xiàn)[18]所提Polar Encodings SAR艦船斜框檢測(cè)模型，迭代輪次設(shè)為120，訓(xùn)練批次大小設(shè)為4，訓(xùn)練集、測(cè)試集圖像尺寸統(tǒng)一設(shè)為512×512，其余參數(shù)設(shè)置與文獻(xiàn)[18]相同，保存訓(xùn)練過程中的最優(yōu)模型。

步驟4 自動(dòng)標(biāo)注

利用步驟3訓(xùn)練好的斜框檢測(cè)模型對(duì)步驟2中的切片自動(dòng)標(biāo)注，并設(shè)置較低的置信度閾值，初步篩選自動(dòng)標(biāo)注切片。由于置信度閾值較低，可篩選更多包含艦船目標(biāo)的切片，但同樣會(huì)篩選大量陸地建筑物虛警切片。

步驟5 人工修正

步驟4篩選出的自動(dòng)標(biāo)注切片主要有3種類型：陸地建筑物虛警切片、簡單場景切片、復(fù)雜場景切片。陸地建筑物虛警切片如圖7(a)所示，從篩選出的自動(dòng)標(biāo)注切片中直接剔除虛警切片。簡單場景切片如圖7(b)所示，自動(dòng)標(biāo)注結(jié)果較準(zhǔn)確，使用ro-LabelImg工具[19]微調(diào)自動(dòng)標(biāo)注結(jié)果以生成更精準(zhǔn)的標(biāo)注，微調(diào)結(jié)果如圖7(c)所示。復(fù)雜場景切片如圖7(d)所示，存在大量的虛警和漏檢，使用roLabelImg工具結(jié)合自動(dòng)標(biāo)注結(jié)果再標(biāo)注，再標(biāo)注結(jié)果如圖7(e)所示。

圖7 人工修正示例Fig.7 Manual modification examples

步驟6 Google Earth糾正

近岸場景下岸上建筑物、設(shè)施等的后向散射系數(shù)較強(qiáng)，導(dǎo)致近岸艦船目標(biāo)標(biāo)注困難，而光學(xué)遙感圖像則不受此影響。因此，RSDD-SAR數(shù)據(jù)集結(jié)合Google Earth對(duì)近岸場景切片進(jìn)行糾正。由于Google Earth不能獲取實(shí)時(shí)歷史影像，無法直接糾正艦船標(biāo)注，但岸上建筑物通常不變，可作為標(biāo)注參考。因此，本文選取與SAR數(shù)據(jù)成像時(shí)間最近的Google Earth歷史影像，參考岸上建筑物信息提高標(biāo)注準(zhǔn)確性。如圖8所示，圖8(b)為希臘比雷埃夫斯港2019年9月4日成像的1景SAR影像，圖8(a)為與該港口成像時(shí)間最近的Google Earth歷史影像，成像時(shí)間為2019年8月28日，由于獲取時(shí)間不同，兩幅圖像中艦船目標(biāo)不一致，但是岸上建筑物信息基本無變化。

圖8 Google Earth糾正Fig.8 Google Earth correction

最終，從14萬余張切片中通過自動(dòng)標(biāo)注篩選出3萬余張切片，人工修正和Google Earth糾正后形成切片7000張，包含艦船實(shí)例10263個(gè)，從中隨機(jī)選取5000張作為訓(xùn)練集，另外2000張作為測(cè)試集，其中，測(cè)試集被進(jìn)一步劃分為近岸測(cè)試集和離岸測(cè)試集。

圖9(a)展示了數(shù)據(jù)集中某幅切片的艦船標(biāo)注樣例，圖9(b)為對(duì)應(yīng)的.xml文件，該文件中包含文件名、極化方式、分辨率、切片尺寸、斜框標(biāo)注等信息。以圖9(b)為例，文件名為86_6_14.xml，極化方式為VV，分辨率為3 m，切片尺寸為(512，512，3)，斜框中心點(diǎn)坐標(biāo)為(178.58，87.68)，長邊為77.73，短邊為16.29，角度為0.27。

圖9 標(biāo)注示例Fig.9 Annotation example

RSDD-SAR數(shù)據(jù)集結(jié)構(gòu)如圖10所示，包含JPEGImages，Annotations，Imagesets，JPEGValidation 4個(gè)文件夾，其中JPEGImages文件夾中包含7000張切片，Annotations文件夾中包含7000個(gè)標(biāo)注文件，Imagesets文件夾包含訓(xùn)練集、測(cè)試集、近岸測(cè)試集、離岸測(cè)試集等劃分方式文件，JPEGValidation文件夾包含2景未剪裁的大圖及標(biāo)注文件。

圖10 RSDD-SAR數(shù)據(jù)集結(jié)構(gòu)Fig.10 Structure of RSDD-SAR dataset

2.3 數(shù)據(jù)集分析

2.3.1 角度及長寬比分布

RSDD-SAR數(shù)據(jù)集中艦船目標(biāo)角度分布圖如圖11(a)所示，圖中橫軸代表斜框角度所屬區(qū)間，縱軸表示該區(qū)間范圍的艦船數(shù)量，艦船目標(biāo)長寬比分布圖如圖11(b)所示，圖中橫軸代表長寬比所屬區(qū)間，縱軸表示該區(qū)間范圍的艦船數(shù)量。通過分析該數(shù)據(jù)集艦船目標(biāo)角度和長寬比分布，可得該數(shù)據(jù)集中艦船目標(biāo)的角度較均勻地分布在—90°～90°，長寬比主要分布在1.5～7.5，說明該數(shù)據(jù)集具有旋轉(zhuǎn)方向任意和長寬比大的特點(diǎn)。

圖11 數(shù)據(jù)集艦船角度和長寬比分布圖Fig.11 Angle and aspect ratio distribution maps of ships in RSDD-SAR dataset

2.3.2 尺寸分布

COCO數(shù)據(jù)集[20]依據(jù)目標(biāo)面積將目標(biāo)劃分為小目標(biāo)、中型目標(biāo)和大目標(biāo)，其中小目標(biāo)檢測(cè)是最具挑戰(zhàn)性的任務(wù)，檢測(cè)精度在3類目標(biāo)中最低。表3依據(jù)COCO數(shù)據(jù)集劃分標(biāo)準(zhǔn)統(tǒng)計(jì)了RSDD-SAR數(shù)據(jù)集艦船尺寸類型，其中小目標(biāo)占比高達(dá)81.17%，中型目標(biāo)占比18.78%。

由于COCO數(shù)據(jù)集為自然場景垂直邊框標(biāo)注數(shù)據(jù)集，而RSDD-SAR數(shù)據(jù)集為斜框標(biāo)注數(shù)據(jù)集，且SAR圖像中艦船目標(biāo)面積普遍較小，導(dǎo)致COCO數(shù)據(jù)集的劃分方式不適合RSDD-SAR數(shù)據(jù)集。因此，本文依據(jù)文獻(xiàn)[13]劃分標(biāo)準(zhǔn)統(tǒng)計(jì)了RSDD-SAR數(shù)據(jù)集艦船尺寸分布，結(jié)果如表4所示，其中小目標(biāo)占比59.88%，中型目標(biāo)占比40.04%。

從表3和表4可得，無論是依據(jù)COCO劃分標(biāo)準(zhǔn)還是文獻(xiàn)[13]劃分標(biāo)準(zhǔn)，RSDD-SAR數(shù)據(jù)集小目標(biāo)占比都較高。因此，該數(shù)據(jù)集具有小目標(biāo)占比高的特點(diǎn)，可用于驗(yàn)證算法小目標(biāo)檢測(cè)性能。

表3 依據(jù)COCO劃分標(biāo)準(zhǔn)RSDD-SAR艦船尺寸統(tǒng)計(jì)Tab.3 Area statistics of ships in RSDD-SAR according to COCO

表4 依據(jù)文獻(xiàn)[13]劃分標(biāo)準(zhǔn)RSDD-SAR艦船尺寸統(tǒng)計(jì)Tab.4 Area statistics of ships in RSDD-SAR according to Ref.[13]

2.3.3 典型場景示例

圖12為RSDD-SAR數(shù)據(jù)集典型場景示例，包含圖12(a)港口，圖12(b)密集排列，圖12(c)航道，圖12(d)離岸低分辨率，圖12(e)離岸高分辨率等典型場景，說明該數(shù)據(jù)集具有場景豐富的特點(diǎn)。

圖12 RSDD-SAR數(shù)據(jù)集典型場景Fig.12 Typical scenarios in RSDD-SAR

綜合上述分析，RSDD-SAR數(shù)據(jù)集具有旋轉(zhuǎn)方向任意、長寬比大、小目標(biāo)占比高和場景豐富的特點(diǎn)。

3 對(duì)比模型

依據(jù)階段數(shù)和是否使用錨框，主流的目標(biāo)檢測(cè)算法可以分為基于錨框的兩階段檢測(cè)算法、基于錨框的單階段檢測(cè)算法和無錨框檢測(cè)算法。垂直邊框檢測(cè)算法中，兩階段檢測(cè)算法以Faster R-CNN[21]為代表，單階段檢測(cè)算法以YOLO[22—24]，SSD[25]，RetinaNet[26]等為代表，無錨框檢測(cè)算法以Center-Net[27]，F(xiàn)COS[28]等為代表。斜框檢測(cè)算法通常基于垂直邊框檢測(cè)算法，通過添加斜框參數(shù)、改進(jìn)模型結(jié)構(gòu)等方式實(shí)現(xiàn)。為了充分驗(yàn)證不同類型算法在RSDD-SAR數(shù)據(jù)集上的性能，以提供廣泛的性能基準(zhǔn)，本文對(duì)幾種常用的兩階段、單階段和無錨框斜框檢測(cè)算法進(jìn)行了實(shí)驗(yàn)，對(duì)比模型包括光學(xué)遙感圖像兩階段斜框檢測(cè)算法R-Faster R-CNN，RoI Transformer[29]，Gliding Vertex[30]，Oriented R-CNN[31]，ReDet[32]，單階段斜框檢測(cè)算法R-RetinaNet，S2ANet[33]，R3Det[34]，無錨框斜框檢測(cè)算法R-FCOS，CFA[35]，以及SAR艦船單階段斜框檢測(cè)算法DRBox-V2[36]和無錨框斜框檢測(cè)算法Polar Encodings[18]。

3.1 兩階段斜框檢測(cè)算法

R-Faster R-CNN基于Faster R-CNN，通過添加角度參數(shù)實(shí)現(xiàn)斜框檢測(cè)，該算法在第1階段利用區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)提取水平候選框，并通過感興趣區(qū)域池化(Region of Intersect Pooling，RoI Pooling)將RPN提取的水平候選框池化至統(tǒng)一尺寸，第2階段基于水平候選框回歸斜框。RoI Transformer提出RRoI Leaner(Rotated RoI Learner)和RPS-RoI-Align (Rotated Position Sensitive RoI Align)改進(jìn)Faster RCNN中的RPN，該算法第1階段利用RRoI Leaner將RPN提取的水平候選框轉(zhuǎn)化為旋轉(zhuǎn)候選框，然后利用RPS-RoI-Align將旋轉(zhuǎn)候選框統(tǒng)一尺寸，以提取旋轉(zhuǎn)不變特征，第2階段基于旋轉(zhuǎn)不變特征回歸斜框。不同于RoI Transformer對(duì)Faster R-CNN結(jié)構(gòu)的改進(jìn)，Gliding Vertex提出了更好的斜框定義方式，該算法在垂直邊框的基礎(chǔ)上，通過學(xué)習(xí)垂直邊框4個(gè)角點(diǎn)的偏移量實(shí)現(xiàn)斜框檢測(cè)。Oriented RCNN在RPN網(wǎng)絡(luò)的基礎(chǔ)上提出了中心點(diǎn)偏移法，通過添加2個(gè)角點(diǎn)偏移參數(shù)生成高質(zhì)量的有向候選框。ReDet針對(duì)遙感圖像中目標(biāo)方向任意，導(dǎo)致需要更多參數(shù)、依賴旋轉(zhuǎn)數(shù)據(jù)增強(qiáng)的問題，提出了旋轉(zhuǎn)等變骨干網(wǎng)絡(luò)(Rotation-equivariant Backbone)ReResNet和旋轉(zhuǎn)不變感興趣區(qū)域?qū)R方法(Rotation-invariant RoI Align，RiRoI Align)，利用ReResNet提取旋轉(zhuǎn)等變特征，并利用RiRoI Align實(shí)現(xiàn)空間和旋轉(zhuǎn)方向?qū)R。

3.2 單階段斜框檢測(cè)算法

兩階段斜框檢測(cè)算法取得了較高的檢測(cè)精度，但是由于需要提取候選框，因此檢測(cè)速度較慢。單階段斜框檢測(cè)算法則無需提取候選框，在檢測(cè)精度相近的情況下，可以保持較快的檢測(cè)速度。R-RetinaNet基于RetinaNet，通過在回歸分支添加角度參數(shù)實(shí)現(xiàn)斜框檢測(cè)，該算法無需RPN網(wǎng)絡(luò)，通過在特征圖中每個(gè)位置設(shè)置多個(gè)錨框直接預(yù)測(cè)目標(biāo)斜框。針對(duì)單階段斜框檢測(cè)算法特征不對(duì)齊問題，S2ANet基于可變性卷積提出了用于斜框檢測(cè)的特征對(duì)齊方法，并通過ARF (Active Rotating Filters)編碼旋轉(zhuǎn)信息，提取旋轉(zhuǎn)敏感特征和旋轉(zhuǎn)不變特征分別用于斜框回歸與分類任務(wù)。針對(duì)多級(jí)單階段檢測(cè)算法特征不對(duì)齊問題，R3Det提出了特征精煉模塊，通過特征差值獲取精煉的錨框并重構(gòu)特征圖實(shí)現(xiàn)特征對(duì)齊。DRBox-V2以VGG-16為骨干網(wǎng)絡(luò)，通過在Conv3_3層和Conv4_3層特征圖生成具有角度的錨框，修改斜框定義方式以提高斜框預(yù)測(cè)的準(zhǔn)確度，并引入Focal Loss，HNM，F(xiàn)PN等對(duì)DRBox改進(jìn)。

3.3 無錨框斜框檢測(cè)算法

由于SAR艦船目標(biāo)具有旋轉(zhuǎn)方向任意和長寬比大的特點(diǎn)，基于錨框的斜框檢測(cè)算法預(yù)設(shè)的錨框尺寸通常與真實(shí)邊框差別較大，導(dǎo)致算法計(jì)算復(fù)雜且速度較慢。無錨框斜框檢測(cè)算法則無需預(yù)設(shè)錨框，直接基于特征圖中的每個(gè)位置預(yù)測(cè)斜框參數(shù)，相較于基于錨框的檢測(cè)算法，算法流程更加簡潔，檢測(cè)速度較快。R-FCOS基于FCOS，通過將垂直邊框表示方法轉(zhuǎn)換為斜框表示方法實(shí)現(xiàn)斜框檢測(cè)，該算法利用真實(shí)邊框中心點(diǎn)到斜框4條邊的距離及角度參數(shù)表示斜框，將真實(shí)邊框中所有點(diǎn)作為正樣本直接預(yù)測(cè)斜框參數(shù)。針對(duì)遙感圖像目標(biāo)密集排列場景傳統(tǒng)矩形框檢測(cè)受限的問題，Guo等提出了凸包特征適應(yīng)方法(Convex-hull Feature Adaptation，CFA)，通過可變性卷積生成9個(gè)特征點(diǎn)，并利用Jarvis March算法生成最小凸包。針對(duì)斜框檢測(cè)存在的邊界不連續(xù)問題，Polar Encodings提出了Polar Encodings斜框編碼方式，通過等角度間隔采樣斜框邊到中心點(diǎn)的距離作為斜框編碼，擺脫了邊界角度變化導(dǎo)致的損失不連續(xù)問題。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)首先將第3節(jié)提到的斜框檢測(cè)算法在RSDDSAR數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，對(duì)比分析不同算法性能，然后基于最優(yōu)模型對(duì)RSDD-SAR數(shù)據(jù)集泛化能力進(jìn)行了分析。

4.1 實(shí)驗(yàn)平臺(tái)及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)平臺(tái)為Ubuntu20.04操作系統(tǒng)，CPU型號(hào)為Intel Core i7-8700，GPU型號(hào)為NVIDIA GTX 1080Ti。所有光學(xué)遙感圖像斜框檢測(cè)對(duì)比算法都基于JDet框架[37]和MMRotate框架[38]，數(shù)據(jù)增強(qiáng)使用概率為0.5的水平隨機(jī)翻轉(zhuǎn)，優(yōu)化器使用SGD[39]，初始學(xué)習(xí)率設(shè)為0.0025，動(dòng)量設(shè)為0.9，權(quán)重衰減設(shè)為0.0001，使用L2范數(shù)梯度裁剪，最大梯度范數(shù)設(shè)為35，迭代輪次設(shè)為12，第7個(gè)和第10個(gè)迭代輪次時(shí)學(xué)習(xí)率減少10倍，前500個(gè)批次使用線性預(yù)熱學(xué)習(xí)率，初始預(yù)熱學(xué)習(xí)率為初始學(xué)習(xí)率的1/3，ReDet模型使用ReResNet-50骨干網(wǎng)絡(luò)，其余模型使用預(yù)訓(xùn)練的ResNet系列[40]骨干網(wǎng)絡(luò)。其中ResNet-18作為骨干網(wǎng)絡(luò)時(shí)批次大小設(shè)為8，ReResNet-50，Res-Net-50，ResNet-101作為骨干網(wǎng)絡(luò)時(shí)批次大小設(shè)為4。SAR艦船斜框檢測(cè)對(duì)比算法DRBox-V2和Polar Encodings迭代輪次設(shè)為12，實(shí)驗(yàn)環(huán)境和其余參數(shù)配置依據(jù)文獻(xiàn)[36]和文獻(xiàn)[18]配置。所有對(duì)比算法訓(xùn)練和測(cè)試圖像尺寸統(tǒng)一設(shè)置為512×512，測(cè)試置信度閾值設(shè)為0.05。模型評(píng)價(jià)指標(biāo)為模型參數(shù)量(Params)、每秒傳輸幀數(shù)(Frames Per Second，F(xiàn)PS)、近岸場景(Inshore)AP50、離岸場景(Offshore)AP50及所有場景AP50。其中AP50表示交并比(Intersection over Union，IoU)閾值為0.5時(shí)的平均準(zhǔn)確率(Average Precision，AP)，AP定義為

其中，Ntd為檢測(cè)正確的目標(biāo)數(shù)目，Nd為所有檢測(cè)到的目標(biāo)數(shù)目，Nr為真實(shí)目標(biāo)數(shù)目，P為精準(zhǔn)率(Precision)，R為召回率(Recall)，AP為P-R曲線下的面積。

4.2 不同算法實(shí)驗(yàn)結(jié)果與分析

不同算法的實(shí)驗(yàn)結(jié)果如表5所示，從精度指標(biāo)來看，單階段斜框檢測(cè)算法S2ANet取得了最優(yōu)檢測(cè)精度；從速度指標(biāo)來看，無錨框算法最快，單階段算法次之，兩階段算法最慢，其中無錨框算法CFA在保持了較高的檢測(cè)精度的前提下，檢測(cè)速度最快；從模型參數(shù)量來看，同一模型檢測(cè)精度隨模型參數(shù)量的增加而提高，其中S2ANet-ResNet-101取得了最優(yōu)的檢測(cè)精度；SAR艦船斜框檢測(cè)算法DRBox-V2和Polar Encodings檢測(cè)精度較高，但距最優(yōu)模型仍有一定差距；所有算法在近岸場景檢測(cè)精度都遠(yuǎn)低于離岸場景檢測(cè)精度，符合近岸場景干擾較多的實(shí)際情況，說明近岸場景艦船檢測(cè)仍具有挑戰(zhàn)性。

表5 不同算法實(shí)驗(yàn)結(jié)果Tab.5 Experimental results of different algorithms

圖13為不同算法在RSDD-SAR典型場景的測(cè)試結(jié)果，其中，第1行為港口場景，第2行為密集排列場景，第3行為航道場景，第4行為離岸低分辨率場景，第5行為離岸高分辨率場景，從圖中可得，不同算法在離岸高分辨率、離岸低分辨率、航道場景檢測(cè)結(jié)果較好，但對(duì)小目標(biāo)存在一定漏檢，在近岸港口、密集排列場景存在較多漏檢、誤檢。

圖13 不同算法檢測(cè)結(jié)果((a) 標(biāo)注；(b) R-Faster R-CNN-ResNet-101檢測(cè)結(jié)果；(c) RoI Transformer-ResNet-101檢測(cè)結(jié)果；(d) Gliding Vertex-ResNet-101檢測(cè)結(jié)果；(e) Oriented R-CNN-ResNet-101檢測(cè)結(jié)果；(f) R-RetinaNet-ResNet-101檢測(cè)結(jié)果；(g) S2ANet-ResNet-101檢測(cè)結(jié)果；(h) R3Det-ResNet-101檢測(cè)結(jié)果；(i) Redet-ReResNet-50檢測(cè)結(jié)果；(j) DRBox-V2檢測(cè)結(jié)果；(k) R-FCOS-ResNet-101檢測(cè)結(jié)果；(l) CAF-ResNet-101檢測(cè)結(jié)果；(m) Polar Encoding-ResNet-101檢測(cè)結(jié)果)Fig.13 Detection results of different methods ((a) Annotations;(b) Detection results of R-Faster R-CNN-ResNet-101;(c) Detection results of RoI Transformer-ResNet-101;(d) Detection results of Gliding Vertex-ResNet-101;(e) Detection results of Oriented R-CNN-ResNet-101;(f) Detection results of R-RetinaNet-ResNet-101;(g) Detection results of S2ANet-ResNet-101;(h) Detection results of R3Det-ResNet-101;(i) Detection results of Redet-ReResNet-50;(j) Detection results of DRBox-V2;(k) Detection results of R-FCOS-ResNet-101;(l) Detection results of CAF-ResNet-101;(m) Detection results of Polar Encoding-ResNet-101)

4.3 數(shù)據(jù)集泛化能力測(cè)試與分析

為分析RSDD-SAR數(shù)據(jù)集訓(xùn)練模型的泛化能力，本文設(shè)置3組實(shí)驗(yàn)：(1)以SSDD數(shù)據(jù)集為測(cè)試集，分析RSDD-SAR數(shù)據(jù)集訓(xùn)練模型的泛化能力；(2)以HRSID數(shù)據(jù)集為測(cè)試集，對(duì)比分析RSDDSAR和SSDD數(shù)據(jù)集訓(xùn)練模型的泛化能力；(3)對(duì)比分析RSDD-SAR和SSDD數(shù)據(jù)集訓(xùn)練模型在未剪裁大圖上的泛化能力。

4.3.1 基于SSDD數(shù)據(jù)集泛化能力測(cè)試與分析

為分析RSDD-SAR數(shù)據(jù)集訓(xùn)練模型的泛化能力，本文使用RSDD-SAR數(shù)據(jù)集訓(xùn)練得到的最優(yōu)模型S2ANet-ResNet-101對(duì)SSDD數(shù)據(jù)集全部1160張切片進(jìn)行了測(cè)試，AP50指標(biāo)為60.87%，證明RSDDSAR數(shù)據(jù)集訓(xùn)練模型具有一定的泛化能力。圖14展示了SSDD數(shù)據(jù)集檢測(cè)結(jié)果，其中圖14(a)為離岸場景正確檢測(cè)結(jié)果，圖14(b)為近岸場景正確檢測(cè)結(jié)果，圖14(c)為錯(cuò)誤檢測(cè)結(jié)果，第1行為真實(shí)結(jié)果(紅色框)，第2行為檢測(cè)結(jié)果(綠色框)，藍(lán)色框表示漏檢艦船目標(biāo)，黃色框表示誤檢艦船目標(biāo)。從圖中可得，RSDD-SAR數(shù)據(jù)集訓(xùn)練模型可較準(zhǔn)確地檢測(cè)近岸和離岸場景不同分辨率的艦船目標(biāo)，但由于不同數(shù)據(jù)集之間場景差異大，岸上干擾多，近岸場景存在較多的漏檢和誤檢，離岸場景下對(duì)小尺寸目標(biāo)有一定的漏檢。

圖14 SSDD數(shù)據(jù)集測(cè)試結(jié)果Fig.14 Testing results on SSDD

4.3.2 基于HRSID數(shù)據(jù)集泛化能力測(cè)試與對(duì)比分析

為進(jìn)一步分析RSDD-SAR數(shù)據(jù)集訓(xùn)練模型的泛化能力，本文分別基于RSDD-SAR和SSDD數(shù)據(jù)集訓(xùn)練最優(yōu)模型S2ANet，并以HRSID數(shù)據(jù)集作為測(cè)試集，對(duì)比分析RSDD-SAR和SSDD數(shù)據(jù)集訓(xùn)練模型的泛化能力。

由于SSDD數(shù)據(jù)量較少，為保證模型收斂，迭代輪次設(shè)置為80，訓(xùn)練和測(cè)試圖像尺寸統(tǒng)一設(shè)為512×512，其余參數(shù)配置不變。S2ANet基于SSDD數(shù)據(jù)集訓(xùn)練的AP50曲線如圖15(b)所示，模型在第75個(gè)迭代輪次左右收斂，其中，S2ANet-ResNet-50的AP50指標(biāo)最高。S2ANet基于RSDD-SAR數(shù)據(jù)集訓(xùn)練的AP50曲線如圖15(a)所示，模型在第8個(gè)迭代輪次左右收斂，其中，S2ANet-ResNet-101的AP50指標(biāo)最高。從圖中可得，由于SSDD數(shù)據(jù)量過少，導(dǎo)致模型收斂較慢，需要更多的訓(xùn)練輪次，且中型模型即可取得較高的檢測(cè)精度，參數(shù)量過大時(shí)精度甚至出現(xiàn)負(fù)增長，而RSDD-SAR數(shù)據(jù)集由于數(shù)據(jù)量更大、場景更豐富，因此模型收斂速度較快，模型精度隨參數(shù)量增長而提高，可對(duì)大模型提供更好的支持。

圖15 S2ANet AP50曲線Fig.15 AP50 curves of S2ANet

由于HRSID為垂直邊框檢測(cè)和語義分割數(shù)據(jù)集，未提供斜框標(biāo)注，本文通過生成最小包圍矩形的方式將HRSID數(shù)據(jù)集的語義分割標(biāo)注轉(zhuǎn)換為斜框標(biāo)注(可在以下網(wǎng)址下載：https://github.com/makabakasu/RSDD-SAR-OPEN/)，以HRSID全部5604張切片作為測(cè)試數(shù)據(jù)，分辨率分別設(shè)為512×512和800×800進(jìn)行測(cè)試，結(jié)果如表6所示。從表中可得，RSDD-SAR數(shù)據(jù)集訓(xùn)練模型泛化能力遠(yuǎn)高于SSDD數(shù)據(jù)集訓(xùn)練模型的泛化能力。

表6 泛化能力測(cè)試Tab.6 Generalization ability testing results

4.3.3 基于未剪裁大圖泛化能力測(cè)試與對(duì)比分析

為測(cè)試算法在未剪裁大圖上的性能，本文利用RSDD-SAR和SSDD數(shù)據(jù)集訓(xùn)練最優(yōu)算法S2ANet-ResNet-101在RSDD-SAR數(shù)據(jù)集2景未剪裁大圖上進(jìn)行了測(cè)試，測(cè)試結(jié)果如表7所示，其中，RSDD-SAR數(shù)據(jù)集訓(xùn)練模型在未剪裁大圖上的AP50遠(yuǎn)高于SSDD數(shù)據(jù)集訓(xùn)練模型。

表7 未剪裁大圖測(cè)試結(jié)果Tab.7 Results on uncropped images

圖16為高分3號(hào)未剪裁大圖上的測(cè)試結(jié)果，其中圖16(a)為高分3號(hào)未剪裁大圖標(biāo)注，圖16(b)為RSDD-SAR數(shù)據(jù)集訓(xùn)練模型測(cè)試結(jié)果，圖16(c)為SSDD數(shù)據(jù)集訓(xùn)練模型測(cè)試結(jié)果。從圖中可得，RSDDSAR和SSDD數(shù)據(jù)集訓(xùn)練模型在離岸簡單場景檢測(cè)結(jié)果均較好，SSDD數(shù)據(jù)集訓(xùn)練模型在離岸島嶼場景存在較多誤檢，RSDD-SAR和SSDD數(shù)據(jù)集訓(xùn)練模型在近岸復(fù)雜場景均存在較多的漏檢和誤檢。

圖16 未剪裁大圖測(cè)試Fig.16 Testing on uncropped images

通過在其他數(shù)據(jù)集和未剪裁大圖上測(cè)試與分析數(shù)據(jù)集泛化能力可得：RSDD-SAR數(shù)據(jù)集訓(xùn)練模型較SSDD數(shù)據(jù)集訓(xùn)練模型具有更強(qiáng)的泛化能力，但由于場景、分辨率、獲取方式等存在差異，測(cè)試精度較驗(yàn)證精度均大幅下降，說明SAR艦船斜框檢測(cè)模型的泛化能力距實(shí)際應(yīng)用仍有較大差距，是值得研究的課題。

5 結(jié)語

針對(duì)目前SAR艦船斜框檢測(cè)數(shù)據(jù)較少，難以滿足算法發(fā)展和實(shí)際應(yīng)用需求的問題，本文公開了SAR艦船斜框檢測(cè)數(shù)據(jù)集RSDD-SAR，該數(shù)據(jù)集包含7000張切片及2景未剪裁大圖，具有旋轉(zhuǎn)方向任意、長寬比大、小目標(biāo)占比高和場景豐富的特點(diǎn)。同時(shí)，本文對(duì)幾種常用的光學(xué)遙感圖像斜框檢測(cè)算法和SAR艦船斜框檢測(cè)算法進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果為RSDD-SAR數(shù)據(jù)集構(gòu)建了性能基準(zhǔn)，可供相關(guān)學(xué)者參考，其中單階段算法S2ANet檢測(cè)精度最高，無錨框算法CFA檢測(cè)速度最快，但所有對(duì)比算法近岸場景性能均遠(yuǎn)低于離岸場景，說明近岸場景艦船斜框檢測(cè)仍具挑戰(zhàn)性。另外，本文在其他數(shù)據(jù)集和未剪裁大圖上測(cè)試與分析了RSDD-SAR數(shù)據(jù)集訓(xùn)練模型的泛化能力，結(jié)果表明該數(shù)據(jù)集訓(xùn)練模型具有較好的泛化能力，但測(cè)試精度較驗(yàn)證精度仍有大幅下降，說明SAR船舶斜框檢測(cè)算法泛化能力距實(shí)際應(yīng)用仍有較大差距。

附錄

SAR艦船斜框檢測(cè)數(shù)據(jù)集(RSDD-SAR)依托《雷達(dá)學(xué)報(bào)》官方網(wǎng)站發(fā)布，現(xiàn)已上傳至學(xué)報(bào)網(wǎng)站“數(shù)據(jù)”版塊“SAR樣本數(shù)據(jù)集”，網(wǎng)址為：https://radars.ac.cn/web/data/getData?dataType=SDD-SAR，如附圖1所示。

附圖 1 RSDD-SAR數(shù)據(jù)集發(fā)布地址App.Fig.1 Release address of RSDD-SAR dataset

附表1 RSDD-SAR數(shù)據(jù)集詳細(xì)信息App.Tab.1 RSDD-SAR dataset information in detail

續(xù)表 1

續(xù)表 1

續(xù)表 1

RSDD-SAR數(shù)據(jù)集依托國家自然科學(xué)基金、中國科協(xié)青年人才托舉工程基金(特殊領(lǐng)域)和山東省泰山學(xué)者人才工程支持，構(gòu)建了一套包含多種成像模式、多種極化方式、多種分辨率的SAR艦船斜框檢測(cè)數(shù)據(jù)集，旨在進(jìn)一步推動(dòng)SAR目標(biāo)檢測(cè)等先進(jìn)技術(shù)的深入研究。該數(shù)據(jù)集所有權(quán)歸海軍航空大學(xué)所有，《雷達(dá)學(xué)報(bào)》編輯部具有編輯出版權(quán)。