基于改進(jìn)CenterNet的輕量級(jí)無錨框SAR圖像多尺度艦船檢測(cè)算法

謝洪途, 姜新橋, 王國倩, 謝愷

(1.中山大學(xué)(深圳) 電子與通信工程學(xué)院, 廣東 深圳 518107; 2.廣州醫(yī)科大學(xué) 第五附屬醫(yī)院, 廣東 廣州 510700)

合成孔徑雷達(dá)[1](synthetic aperture radar,SAR)是一種高分辨率成像雷達(dá)[2-3], 具有全天候和全天時(shí)等特點(diǎn),能不間斷對(duì)陸地和海洋進(jìn)行觀測(cè)[4-5]。近年來,利用SAR圖像進(jìn)行艦船檢測(cè)的相關(guān)研究在海洋遙感領(lǐng)域得到高度重視[6-7]。SAR圖像中,艦船的尺寸因類型而異,這種多尺度問題降低了艦船的檢測(cè)性能。傳統(tǒng)SAR圖像艦船檢測(cè)方法主要依賴于人工設(shè)計(jì)特征,容易受到復(fù)雜背景干擾,存在識(shí)別精度差、識(shí)別效率低且泛化能力弱等缺點(diǎn)[8-9]。深度學(xué)習(xí)方法具有自主學(xué)習(xí)參數(shù)和自動(dòng)提取特征的能力,擺脫了對(duì)人工設(shè)計(jì)特征和建模的依賴性,相較于傳統(tǒng)方法具有抗干擾性強(qiáng)、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)[10],特別是在場(chǎng)景復(fù)雜多變、目標(biāo)姿態(tài)不一的SAR圖像艦船檢測(cè)領(lǐng)域中具有巨大的發(fā)展?jié)摿11]。

Li等[12]通過利用特征融合、遷移訓(xùn)練等策略改進(jìn)了更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-convolutional neural network,R-CNN)[13]模型進(jìn)行SAR圖像艦船檢測(cè)。胡昌華等[14]通過重新設(shè)計(jì)底層殘差單元與特征金字塔的網(wǎng)絡(luò)結(jié)構(gòu),提出了一種基于改進(jìn)的一見傾心版本3(you only look once v3 version,散YOLOv3)的SAR圖像艦船檢測(cè)模型。Wang等[15]提出了一種基于RetinaNet的艦船檢測(cè)模型。楊龍等[16]提出一種基于深層次多尺度特征融合的卷積神經(jīng)網(wǎng)絡(luò)艦船檢測(cè)模型。Cui等[17]提出了一種基于CenterNet的大規(guī)模SAR圖像船舶檢測(cè)方法,能實(shí)現(xiàn)大尺度SAR圖像的艦船檢測(cè)。Guo等[18]提出了一種有效且穩(wěn)定的單級(jí)檢測(cè)器,能實(shí)現(xiàn)較高精度的SAR 圖像艦船檢測(cè),且時(shí)間成本的增加可忽略。然而,現(xiàn)有基于深度學(xué)習(xí)的SAR圖像艦船檢測(cè)方法仍存在一些問題:

1)模型參數(shù)冗余?，F(xiàn)有算法一般采用較為復(fù)雜的骨干網(wǎng)絡(luò)提取SAR圖像特征。然而,不同于光學(xué)圖像,SAR圖像不包含豐富的色彩信息,引入復(fù)雜的網(wǎng)絡(luò)對(duì)SAR圖像檢測(cè)可能不會(huì)帶來更多助益,反而將導(dǎo)致模型體積及參數(shù)量龐大。同時(shí),現(xiàn)有數(shù)據(jù)集的量不足,采用大型模型易出現(xiàn)過擬合問題。

2)需要額外后處理?，F(xiàn)有基于深度學(xué)習(xí)的SAR圖像艦船檢測(cè)方法主要采用基于錨框的思想。這種基于密集錨框的方法并不適用于目標(biāo)稀疏、正負(fù)樣本極不均衡的SAR艦船圖像,因?yàn)樾柘拇罅康挠?jì)算資源進(jìn)行后處理以去除重疊的候選框。

3)訓(xùn)練樣本單一稀缺。深度學(xué)習(xí)算法需要大量且復(fù)雜多樣的訓(xùn)練樣本,國內(nèi)外常用于艦船檢測(cè)的公開數(shù)據(jù)集,如AIR-SARShip-1.0[19]等,存在背景較為單一和訓(xùn)練樣本匱乏等缺點(diǎn),訓(xùn)練的模型泛化能力較差,難以適用于更加復(fù)雜的場(chǎng)景。

針對(duì)上述問題,本文提出了基于改進(jìn)CenterNet的輕量級(jí)無錨框SAR圖像艦船檢測(cè)的模型,即CenterNet SAR(CenterSAR)。與基于錨框的目標(biāo)檢測(cè)方法相比,該方法的檢測(cè)性能更優(yōu)、實(shí)用性更強(qiáng)。其次,為減小模型體積,降低模型參數(shù),結(jié)合SAR圖像特點(diǎn)采用了更加輕量化的骨干網(wǎng)絡(luò),即采用跨階段局部網(wǎng)絡(luò)(cross stage partial network,CSPNet)[20]與空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling,SPP)[21]作為瓶頸網(wǎng)絡(luò)。最后,為解決SAR圖像訓(xùn)練樣本有限、場(chǎng)景復(fù)雜多變及目標(biāo)姿態(tài)不一等問題,采用了一系列適用于SAR圖像的數(shù)據(jù)增強(qiáng)方法。實(shí)驗(yàn)結(jié)果表明,本文所提方法能夠在復(fù)雜多樣的場(chǎng)景下取得較好的艦船檢測(cè)性能,并且其高效的檢測(cè)性能和輕量化的設(shè)計(jì)有助于實(shí)現(xiàn)終端部署和實(shí)時(shí)檢測(cè)。

1 適用SAR艦船圖像的數(shù)據(jù)增強(qiáng)

SAR成像和光學(xué)成像差異較大,導(dǎo)致SAR圖像存在表征不直觀、背景雜波不均勻和相干斑噪聲強(qiáng)等特點(diǎn)。其次,SAR圖像中目標(biāo)姿態(tài)大小不一,同一目標(biāo)在不同分辨率和不同角度的圖像中具有明顯的差異,不利于檢測(cè)模型的訓(xùn)練。此外,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型參數(shù)量較多,需大量的訓(xùn)練樣本數(shù)據(jù)作為支撐,而SAR圖像相較于光學(xué)圖像較難獲得,樣本容量的不足容易導(dǎo)致嚴(yán)重的模型過擬合等問題。鑒于上述問題,直接將基于光學(xué)圖像的檢測(cè)方法應(yīng)用于SAR圖像目標(biāo)檢測(cè)時(shí),容易存在檢測(cè)框偏移較大、識(shí)別準(zhǔn)確率較低等問題,因此需要針對(duì)SAR圖像的特性進(jìn)行相關(guān)預(yù)處理。

本文采用了一系列適用于SAR圖像的數(shù)據(jù)增強(qiáng)技術(shù)以豐富訓(xùn)練樣本[22],通過對(duì)原始訓(xùn)練數(shù)據(jù)采用一系列變換以擴(kuò)充模型訓(xùn)練空間,增加模型的魯棒性和泛化性,同時(shí)減少模型過擬合。主要包括隨機(jī)多尺度縮放、翻轉(zhuǎn)、隨機(jī)小角度旋轉(zhuǎn)和填充等,如圖1所示。隨機(jī)多尺度縮放主要包括一定范圍內(nèi)的圖像縮放,由于SAR圖像中艦船目標(biāo)一般較小,對(duì)圖像進(jìn)行適當(dāng)放大可以更有效地提取目標(biāo)特征。隨機(jī)翻轉(zhuǎn)主要包括隨機(jī)水平翻轉(zhuǎn)與隨機(jī)垂直翻轉(zhuǎn)。隨機(jī)小角度旋轉(zhuǎn)主要包括逆時(shí)針5°以內(nèi)的隨機(jī)旋轉(zhuǎn)變換,而SAR圖像散射特性在5°內(nèi)是近似保持不變的,同時(shí)還能提高訓(xùn)練樣本的多樣性[23]。經(jīng)過變換后的圖像尺寸大小可能改變,在最后增加一層填充層以保證所有輸入圖像具有固定的大小,同時(shí)有助于模型進(jìn)行多尺度訓(xùn)練。其次,本文通過引入隨機(jī)因子,使得增強(qiáng)的數(shù)據(jù)更具有多樣性。最后的填充層使得所有輸入圖像可進(jìn)行任意尺度的縮放并保證最后輸入模型的圖像大小一致,從而提高模型的泛化能力。

圖1 數(shù)據(jù)增強(qiáng)示意Fig.1 Data enhancement diagram

2 改進(jìn)的CenterNet模型

本文將用于光學(xué)圖像目標(biāo)檢測(cè)的CenterNet[24]引入SAR圖像目標(biāo)檢測(cè),提出一種改進(jìn)的CenterNet模型。CenterNet不需要事先針對(duì)不同種類目標(biāo)設(shè)計(jì)各種尺寸的錨框用以提取目標(biāo)特征,能降低網(wǎng)絡(luò)復(fù)雜度并減少不必要的參數(shù)。CenterNet包含用于特征提取的骨干網(wǎng)絡(luò)以及用于中心預(yù)測(cè)、寬高回歸、偏移校正的3個(gè)子網(wǎng)絡(luò),能夠輸出相應(yīng)大小的預(yù)測(cè)框來實(shí)現(xiàn)目標(biāo)的檢測(cè)。因此,本文設(shè)計(jì)了適用于SAR圖像艦船檢測(cè)的深度神經(jīng)網(wǎng)絡(luò),即CenterSAR。

CenterSAR采用了端到端的設(shè)計(jì),其模型結(jié)構(gòu)如圖2所示,主要包含全卷積網(wǎng)絡(luò)和目標(biāo)檢測(cè)網(wǎng)絡(luò)。全卷積網(wǎng)絡(luò)由用于特征提取的骨干網(wǎng)絡(luò)、特征融合的瓶頸網(wǎng)絡(luò)和特征采樣的反卷積網(wǎng)絡(luò)組成。與CenterNet一致,目標(biāo)檢測(cè)網(wǎng)絡(luò)由中心預(yù)測(cè)、寬高回歸、偏移校正3個(gè)子網(wǎng)絡(luò)構(gòu)成,用于從低分辨率特征圖中提取檢測(cè)框信息,從而實(shí)現(xiàn)定位艦船目標(biāo)。

圖2 CenterSAR模型結(jié)構(gòu)Fig.2 CenterSAR model structure

2.1 全卷積網(wǎng)絡(luò)

本文設(shè)計(jì)了一個(gè)編碼器-瓶頸-解碼器結(jié)構(gòu)的全卷積網(wǎng)絡(luò)。編碼器以殘差網(wǎng)絡(luò)(residual network,ResNet)[25]作為骨干網(wǎng)絡(luò)用于提取圖像特征,并設(shè)計(jì)了CSPNet網(wǎng)絡(luò)[20]與SPP[21]網(wǎng)絡(luò)作為瓶頸(neck)網(wǎng)絡(luò)用于增強(qiáng)模型的特征提取能力,解碼器則由反卷積網(wǎng)絡(luò)(deconvolution network)堆疊組成。給定采樣步長R,該網(wǎng)絡(luò)能提取SAR圖像的高階特征,并進(jìn)行下采樣獲得低分辨率特征圖。

2.1.1 特征提取骨干網(wǎng)絡(luò)

特征提取主要利用深度網(wǎng)絡(luò)對(duì)圖像中淺層位置信息和高層語義信息進(jìn)行提取,然后根據(jù)目標(biāo)特性對(duì)所提取的特征進(jìn)行處理。主要目的是加強(qiáng)對(duì)SAR圖像中隱藏信息的利用,減少SAR圖像中干擾的影響,從而提高艦船目標(biāo)的檢測(cè)精度。骨干網(wǎng)絡(luò)的設(shè)計(jì)需要由一定深度的卷積神經(jīng)網(wǎng)絡(luò)堆疊組成,然而卷積神經(jīng)網(wǎng)絡(luò)存在隨著網(wǎng)絡(luò)深度的增加而出現(xiàn)梯度消失和權(quán)重衰減等退化問題。殘差網(wǎng)絡(luò)ResNet的提出能有效解決網(wǎng)絡(luò)深度帶來的問題,十分適合作為提取圖像特征的骨干網(wǎng)絡(luò),因此在諸多任務(wù)中被廣泛使用。不同于光學(xué)圖像,SAR圖像不包含豐富的彩色信息,網(wǎng)絡(luò)過深對(duì)SAR圖像目標(biāo)檢測(cè)不會(huì)帶來優(yōu)勢(shì),反而會(huì)增加額外的參數(shù)量及引起過擬合問題。為此,本文采用較淺的殘差網(wǎng)絡(luò)ResNet-18作為SAR圖像特征提取的骨干網(wǎng)絡(luò)。

圖3為ResNet-18網(wǎng)絡(luò)的結(jié)構(gòu)圖,卷積層之間的曲線為跳層殘差連接。其中,實(shí)線表示恒等殘差連接,用于通道數(shù)相同的卷積層之間,虛線表示變換殘差連接,用于通道數(shù)不同的卷積層之間,需要引入額外的卷積層進(jìn)行變換。輸入可以通過跨層的殘差連接與經(jīng)過激活后的輸出相加,使得輸入可以更快地向前傳播,從而加快模型訓(xùn)練過程的收斂。ResNet網(wǎng)絡(luò)包含5個(gè)卷積組,第1個(gè)卷積組包含1個(gè)7×7卷積層,其余4個(gè)卷積組由一定數(shù)量的殘差塊構(gòu)成。每個(gè)卷積組中包含1次下采樣操作,使得特征圖尺寸大小減半,因此ResNet網(wǎng)絡(luò)的各種經(jīng)典結(jié)構(gòu)(如ResNet-18、ResNet-34、ResNet-50和ResNet-101)都包含5次下采樣操作,從而使得ResNet網(wǎng)絡(luò)輸出的特征圖尺寸(分辨率)是輸入圖像尺寸(分辨率)1/32。對(duì)于ResNet-18,殘差塊里包含2個(gè)具有相同輸出通道數(shù)的3×3卷積層,每個(gè)卷積層后接一個(gè)批量歸一化層和ReLU激活層。殘差塊的設(shè)計(jì)要求卷積層的輸入與輸出具有相同的形狀和通道數(shù),如果想改變通道數(shù),就需要引入一個(gè)額外的1×1卷積層將輸入變換成相同通道數(shù)后再進(jìn)行殘差連接。

圖3 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 ResNet-18 network structure

2.1.2 特征融合瓶頸網(wǎng)絡(luò)

瓶頸(neck)網(wǎng)絡(luò)位于模型頸部,是目標(biāo)檢測(cè)網(wǎng)絡(luò)中承上啟下的關(guān)鍵部分,它對(duì)骨干網(wǎng)絡(luò)提取的重要特征進(jìn)行特征融合后再加工應(yīng)用,有利于下一步網(wǎng)絡(luò)的任務(wù)學(xué)習(xí)。本文設(shè)計(jì)的瓶頸網(wǎng)絡(luò)由CSPNet與SPP 2個(gè)模塊組成,如圖4(a)和圖4(b)所示。

CSPNet設(shè)計(jì)的主要目的是使該架構(gòu)能夠達(dá)到更豐富的梯度組合,同時(shí)能減少計(jì)算量。該目標(biāo)是通過將輸入層的特征圖劃分為2部分,然后通過提出的跨階段分層結(jié)構(gòu)將它們合并來實(shí)現(xiàn)。CSPNet首先將輸入層的特征圖平均劃分為2部分,分別經(jīng)過一系列局部卷積層,然后其中一部分特征則經(jīng)過設(shè)計(jì)好的隱藏層網(wǎng)絡(luò)(如殘差塊)進(jìn)行特征提取,最后通過過渡連接層將2部分輸出進(jìn)行跨階段連接合并。相比于直接將特征圖輸入到隱藏層網(wǎng)絡(luò)中進(jìn)行計(jì)算,CSPNet僅輸入特征圖的一部分,能顯著減少運(yùn)算量以及內(nèi)存消耗,并且分階段卷積和合并的操作能夠進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

SPP是一種特征金字塔網(wǎng)絡(luò),采用4種不同尺寸(1×1、5×5、9×9、13×13)最大池化操作來提取不同尺度的特征,并對(duì)4種池化采用不同的步長和填充方式以保證提取的特征圖大小一致,然后將提取的特征圖進(jìn)行特征融合操作。由于SPP僅有運(yùn)算簡單的池化操作,不包含可訓(xùn)練權(quán)重參數(shù)。因此,引入SPP模塊并不會(huì)影響檢測(cè)模型的復(fù)雜度,同時(shí)還能增強(qiáng)網(wǎng)絡(luò)的特征提取能力。

2.1.3 特征采樣網(wǎng)絡(luò)

經(jīng)過骨干網(wǎng)絡(luò)的特征提取和瓶頸網(wǎng)絡(luò)的特征融合,獲得一個(gè)尺寸較小的低分辨率特征圖。為了進(jìn)一步利用輸入圖像的特征圖進(jìn)行目標(biāo)檢測(cè)任務(wù),需要設(shè)計(jì)一個(gè)解碼器對(duì)提取的特征圖尺寸進(jìn)行擴(kuò)大處理,實(shí)現(xiàn)圖像由低分辨率到高分辨率的映射,即上采樣(upsampling)操作?，F(xiàn)有上采樣方法主要包括雙線性插值、反池化和反卷積。前2種方法不包含可訓(xùn)練參數(shù),無法隨著網(wǎng)絡(luò)訓(xùn)練進(jìn)行適應(yīng)性調(diào)整,因此本文采用反卷積作為上采樣網(wǎng)絡(luò)[26]。該操作能夠抑制SAR圖像噪聲,加強(qiáng)圖像表征能力,對(duì)圖像的細(xì)致結(jié)構(gòu)進(jìn)行最大限度的恢復(fù)。

本文設(shè)計(jì)的解碼器主要包含3個(gè)反卷積模塊,每個(gè)模塊由可變形卷積層、批歸一化層、ReLU激活層、反卷積層、批歸一化層、ReLU激活層依次連接構(gòu)成。加入正向卷積層的作用是對(duì)反卷積從邊緣像素中學(xué)習(xí)到的特征作進(jìn)一步提取,以保證網(wǎng)絡(luò)對(duì)圖像噪聲的魯棒性。如果區(qū)域之間差異很大(如海洋和陸地),由于標(biāo)準(zhǔn)卷積操作固有的對(duì)稱幾何結(jié)構(gòu),卷積操作對(duì)于大尺度和未知形狀的艦船將難以學(xué)習(xí)到圖像的空間依賴性,從而導(dǎo)致該層學(xué)習(xí)的特征表示較弱。因此,本文選擇可變形卷積[27-28]替代標(biāo)準(zhǔn)卷積操作。將可變形卷積應(yīng)用于SAR圖像艦船檢測(cè),能較好地對(duì)復(fù)雜場(chǎng)景下不同類型區(qū)域進(jìn)行特征提取,從而獲取包含艦船目標(biāo)的區(qū)域。

2.2 目標(biāo)檢測(cè)網(wǎng)絡(luò)

本文設(shè)計(jì)的目標(biāo)檢測(cè)網(wǎng)絡(luò)由中心預(yù)測(cè)網(wǎng)絡(luò)、偏移校正網(wǎng)絡(luò)和寬高回歸網(wǎng)絡(luò)等3個(gè)子網(wǎng)絡(luò)組成。

2.2.1 中心預(yù)測(cè)網(wǎng)絡(luò)

中心預(yù)測(cè)網(wǎng)絡(luò)由2層卷積層與1層ReLU激活層組成,將全卷積網(wǎng)絡(luò)得到的采樣特征圖作為輸入,最后再經(jīng)過一層Sigmoid激活函數(shù)變換將網(wǎng)絡(luò)的輸出元素值映射至[0,1]。中心預(yù)測(cè)網(wǎng)絡(luò)的預(yù)測(cè)目標(biāo)是1個(gè)二維矩陣,稱之為熱圖。熱圖中元素值為1的位置表示該點(diǎn)存在目標(biāo),同時(shí)熱圖上圍繞該位置的一定范圍的元素值以高斯函數(shù)形式分布為:

(1)

2.2.2 偏移校正網(wǎng)絡(luò)

2.2.3 寬高回歸網(wǎng)絡(luò)

2.3 損失函數(shù)

上述3個(gè)子網(wǎng)絡(luò)主要起到分類、偏移校正和預(yù)測(cè)框回歸的作用,因此需要設(shè)計(jì)3種不同的損失對(duì)模型進(jìn)行訓(xùn)練。給定SAR圖像中預(yù)先標(biāo)注的N個(gè)目標(biāo)中心點(diǎn)p0,p1,…,pN,目標(biāo)中心點(diǎn)的分類損失Lk采用焦點(diǎn)損失(focal loss),即:

Lk=

(2)

由于關(guān)鍵點(diǎn)對(duì)位置非常敏感,為了得到更準(zhǔn)確的結(jié)果,加入了偏移量損失Loff對(duì)目標(biāo)關(guān)鍵點(diǎn)位置進(jìn)行校正。本文采用L1距離作為損失函數(shù)為:

(3)

對(duì)于寬高回歸網(wǎng)絡(luò)預(yù)測(cè)輸出的檢測(cè)框尺寸,本文同樣采用L1距離作為損失函數(shù)對(duì)檢測(cè)框?qū)捀哌M(jìn)行回歸:

(4)

因此,本文模型的總損失為3部分損失的加權(quán)和:

L=Lk+λoffLoff+λsizeLsize

(5)

式中:λoff與λsize均為超參數(shù),用于控制對(duì)應(yīng)部分損失的權(quán)重大小。根據(jù)經(jīng)驗(yàn),本文中均設(shè)置為0.5。

3 實(shí)驗(yàn)驗(yàn)證與性能分析

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文所提方法的艦船檢測(cè)性能,本文使用電子科技大學(xué)韋順軍團(tuán)隊(duì)構(gòu)造的HRSID(high resolution SAR images dataset)數(shù)據(jù)集[29]進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集借鑒微軟COCO(common objects in context)[30]數(shù)據(jù)集的構(gòu)建過程,在25%重疊率的情況下,將136個(gè)全景SAR圖像(分辨率1～5 m)裁剪為800像素×800像素的SAR圖像。該數(shù)據(jù)集包含5 604 張不同分辨率、極化、海域和沿海港口的SAR艦船圖像及16 951個(gè)艦船實(shí)例。其中,訓(xùn)練集和測(cè)試集分別有3 642張和1 962張SAR圖像。

硬件平臺(tái)采用CPU為Intel i9-9900X,GPU為NVIDIA RTX 2080 Ti,操作系統(tǒng)為Ubuntu18.04的計(jì)算機(jī),軟件框架為PyTorch[31],并采用CUDA10.1對(duì)所有模型進(jìn)行訓(xùn)練和測(cè)試階段的加速。利用現(xiàn)有的目標(biāo)檢測(cè)方法進(jìn)行對(duì)比,主要包括更快R-CNN (Faster R-CNN)[13]、掩膜R-CNN(Mask R-CNN)[32]、級(jí)聯(lián)Mask R-CNN(Cascade Mask R-CNN)[33]、RetinaNet[34]、全卷積單階段目標(biāo)檢測(cè)(fully convolutional one-stage object detection,FCOS)[35]等模型。根據(jù)文獻(xiàn)[29]的實(shí)驗(yàn)設(shè)置,本文采用了ResNet-50和ResNet-101結(jié)合特征金字塔網(wǎng)絡(luò)(ResNet-FPN)[36]作為對(duì)比模型的骨干網(wǎng)絡(luò)。訓(xùn)練優(yōu)化器為隨機(jī)梯度下降(stochastic gradient descent, SGD)法,動(dòng)量和學(xué)習(xí)率分別為0.9和0.002 5,權(quán)重衰減因子為0.000 1,共計(jì)訓(xùn)練12輪次。而本文所提的CenterSAR模型采用Adam作為優(yōu)化器,初始學(xué)習(xí)率設(shè)為0.000 1,分別使用ResNet-18與ResNet-34作為骨干網(wǎng)絡(luò)提取特征,其余參數(shù)設(shè)置與對(duì)比模型一致。在訓(xùn)練過程中,所有方法均使用了本文所提的隨機(jī)數(shù)據(jù)增強(qiáng)操作,同時(shí)訓(xùn)練時(shí)輸入圖像尺寸調(diào)整為1 000像素×1 000像素。

初始訓(xùn)練時(shí),所有模型使用較低學(xué)習(xí)率進(jìn)行學(xué)習(xí)防止梯度爆炸,隨后使用正常學(xué)習(xí)率進(jìn)行訓(xùn)練。為確保模型收斂到較好的位置,使用余弦周期函數(shù)對(duì)各種方法的學(xué)習(xí)率進(jìn)行周期性衰減。測(cè)試階段,基于錨框的算法(RetinaNet、Faster R-CNN、Mask R-CNN及Cascade Mask R-CNN)使用的交并比(intersection over union, IoU)閾值為0.7;無錨框檢測(cè)算法FCOS選取置信度大于0.6的預(yù)測(cè)框作為預(yù)測(cè)結(jié)果;本文CenterSAR在推理階段中心預(yù)測(cè)網(wǎng)絡(luò)輸出熱圖,首先在熱圖上選擇100個(gè)候選中心點(diǎn),然后根據(jù)每個(gè)中心點(diǎn)對(duì)應(yīng)存在目標(biāo)的置信度進(jìn)行篩選,將置信度低于0.5的中心點(diǎn)對(duì)應(yīng)的預(yù)測(cè)結(jié)果去除,保留置信度較高的中心點(diǎn)對(duì)應(yīng)的預(yù)測(cè)框。

3.2 數(shù)據(jù)增強(qiáng)結(jié)果

實(shí)驗(yàn)中,訓(xùn)練樣本首先在{800×800, 900×900, 1 000×1 000, 1 100×1 100}像素范圍內(nèi)隨機(jī)選取尺寸進(jìn)行縮放,然后進(jìn)行水平或垂直翻轉(zhuǎn)及5°內(nèi)小角度旋轉(zhuǎn),最后對(duì)變換后的圖像進(jìn)行填充保持輸入圖像大小一致。本文按照該方式,通過增加模型訓(xùn)練迭代次數(shù),訓(xùn)練樣本能得到很大程度的擴(kuò)充。為驗(yàn)證所提數(shù)據(jù)增強(qiáng)方法的效果,對(duì)單獨(dú)使用不同數(shù)據(jù)增強(qiáng)方法的CenterSAR模型進(jìn)行了實(shí)驗(yàn),并對(duì)4種增強(qiáng)方法綜合使用(本文操作)進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表1所示,采用的骨干網(wǎng)絡(luò)為 ResNet-18。其中,AP50和AP75表示IoU閾值分別為0.5和0.75時(shí)目標(biāo)的平均檢測(cè)精度,AP表示IoU閾值為 [0.5∶0.05∶0.95]時(shí)目標(biāo)的平均精度,APs表示小型目標(biāo)(面積小于32×32像素)的平均檢測(cè)精度,APm表示中型目標(biāo)(面積位于32×32像素到96×96像素之間)的平均檢測(cè)精度,APl表示大型目標(biāo)(面積大于96×96像素)的平均檢測(cè)精度。

由表1可發(fā)現(xiàn),不同的數(shù)據(jù)增強(qiáng)方法都能較大程度地提升模型的檢測(cè)精度,其中以隨機(jī)縮放對(duì)模型性能的提升最為明顯。根據(jù)表1中APs、APm和APl的結(jié)果,可以發(fā)現(xiàn)隨機(jī)縮放數(shù)據(jù)增強(qiáng)方法顯著提高了模型對(duì)各個(gè)尺度艦船的檢測(cè)精度。此外,隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)也從不同程度上提升了模型檢測(cè)效果,各種指標(biāo)都超過了未使用數(shù)據(jù)增強(qiáng)方法的模型檢測(cè)效果。當(dāng)模型綜合4種數(shù)據(jù)增強(qiáng)方法時(shí),AP50能夠達(dá)到90.1%,優(yōu)于單獨(dú)使用任一數(shù)據(jù)增強(qiáng)方法的性能表現(xiàn),從而驗(yàn)證了本文將4種數(shù)據(jù)增強(qiáng)方法進(jìn)行綜合使用的有效性。

3.3 目標(biāo)檢測(cè)結(jié)果

表2為采用不同目標(biāo)檢測(cè)模型獲得的實(shí)驗(yàn)結(jié)果。由表2可知,本文基于ResNet-18與ResNet-34的CenterSAR模型性能優(yōu)于大部分對(duì)比模型,分別在AP50時(shí)達(dá)到90.1%與90.0%的檢測(cè)精度,僅低于使用ResNet-50+FPN和ResNet-101+FPN作為骨干網(wǎng)絡(luò)的FCOS模型。根據(jù)APs和APl的結(jié)果,本文所提的CenterSAR分別以67.3%和30.0%的檢測(cè)精度取得了更好的性能表現(xiàn),并且APm的結(jié)果也僅略微差于最優(yōu)的檢測(cè)模型Cascade Mask R-CNN,說明本文所提的CenterSAR模型能有效提取艦船目標(biāo)的中心點(diǎn),從而使得模型在多尺度艦船目標(biāo)上具有更好的檢測(cè)精度。此外,由表2可發(fā)現(xiàn),當(dāng)IoU閾值較小時(shí)(即AP50),基于無錨框的檢測(cè)算法FCOS與CenterSAR檢測(cè)性能較好;當(dāng)IoU閾值提高,檢測(cè)指標(biāo)更為苛刻時(shí)(即AP75),基于錨框的檢測(cè)算法Faster R-CNN及其變體Mask R-CNN和Cascade Mask R-CNN則取得更好的表現(xiàn)。其主要原因可能是基于錨框的算法能生成大量候選預(yù)測(cè)框,因此非極大抑制處理后的預(yù)測(cè)框質(zhì)量較高。而無錨框的檢測(cè)算法直接對(duì)預(yù)測(cè)框位置進(jìn)行生成回歸,因此預(yù)測(cè)框位置精確性不如基于錨框的算法。由表2還可發(fā)現(xiàn),采用更深的骨干網(wǎng)絡(luò)對(duì)于所有目標(biāo)檢測(cè)模型帶來的提升并不大,甚至在部分情況下導(dǎo)致檢測(cè)性能下降。這也說明了SAR圖像與光學(xué)圖像的差異性,即SAR圖像不包含豐富的彩色信息,采用一定深度的網(wǎng)絡(luò)即能充分提取SAR圖像的特征,更深的網(wǎng)絡(luò)反而帶來負(fù)效益,從而降低模型運(yùn)行效率。

表2 目標(biāo)檢測(cè)結(jié)果對(duì)比Table 2 Comparison of the target detection results %

圖5展示了基于不同模型的檢測(cè)方法在遠(yuǎn)近海簡單場(chǎng)景下的艦船目標(biāo)檢測(cè)結(jié)果,其中綠色框表示數(shù)據(jù)集中艦船目標(biāo)的真實(shí)檢測(cè)框,紅色框表示不同方法的預(yù)測(cè)檢測(cè)框。在遠(yuǎn)海場(chǎng)景下,由于背景較為純凈,雖然受到海面雜波的干擾,但艦船目標(biāo)較為明顯,因此各種方法都能較好地檢測(cè)出艦船目標(biāo),基本沒有出現(xiàn)漏檢現(xiàn)象。在近海場(chǎng)景下,如圖5(b)、(d)、(f)和(h) 所示,基于錨框的檢測(cè)算法在SAR圖像目標(biāo)檢測(cè)中逐漸出現(xiàn)了不同程度的虛警,將沿岸礁石檢測(cè)為艦船目標(biāo)。相反,如圖5(j)和(l)所示,無錨框的檢測(cè)算法FCOS與本文所提CenterSAR方法則不受沿海礁石的影響,仍然能夠準(zhǔn)確地檢測(cè)艦船目標(biāo),而且未出現(xiàn)虛警現(xiàn)象。

圖5 遠(yuǎn)近海簡單場(chǎng)景下基于不同模型檢測(cè)方法的結(jié)果Fig.5 Results of the detection methods based on the different models in the simple scenarios of the far and near seas

圖6為基于不同預(yù)測(cè)模型的檢測(cè)方法在復(fù)雜場(chǎng)景下艦船目標(biāo)檢測(cè)結(jié)果,包括沿岸和港口場(chǎng)景。可發(fā)現(xiàn),基于錨框的Faster R-CNN算法受到陸面區(qū)域的影響導(dǎo)致檢測(cè)性能較差,不僅存在較嚴(yán)重的漏檢現(xiàn)象(圖6(a)),同時(shí)在針對(duì)多艦船小目標(biāo)檢測(cè)存在虛警(圖6(b))。雖然Mask R-CNN與Cascade Mask R-CNN檢測(cè)性能優(yōu)于Faster R-CNN,漏檢情況較少,但是虛警目標(biāo)仍然較多?；阱^框的RetinaNet算法的檢測(cè)性能較差,在復(fù)雜場(chǎng)景下存在較為嚴(yán)重的漏檢情況。無錨框檢測(cè)算法FCOS與本文CenterSAR比較類似,都具有較好的檢測(cè)性能,并且相較于基于錨框的算法存在較少的虛警目標(biāo)。其中,本文CenterSAR的檢測(cè)性能更優(yōu)于FCOS,針對(duì)復(fù)雜的多目標(biāo)場(chǎng)景能夠檢測(cè)到更多的艦船目標(biāo)(圖6(l))。上述實(shí)驗(yàn)結(jié)果表明,基于錨框的方法容易產(chǎn)生大量重疊的檢測(cè)框,雖然在SAR圖像中能夠定位艦船目標(biāo),但同時(shí)也容易存在大量虛警。相比之下,本文所提的CenterSAR算法能夠在各種場(chǎng)景下準(zhǔn)確檢測(cè)艦船目標(biāo),僅僅出現(xiàn)了少量虛警及漏檢目標(biāo),從而說明了本文所提的CenterSAR算法在艦船目標(biāo)檢測(cè)任務(wù)中具有良好性能和優(yōu)越性。

圖6 復(fù)雜場(chǎng)景下基于不同模型檢測(cè)方法的結(jié)果Fig.6 Results of the detection methods based on the different models in the complex scenes

3.4 模型大小與運(yùn)行速度

圖7給出了基于不同模型檢測(cè)方法的模型大小(MB)和運(yùn)行時(shí)間(s)對(duì)比。其中,模型大小主要取決于訓(xùn)練的參數(shù)量,運(yùn)行速度主要是檢測(cè)單張SAR圖像所需的平均時(shí)間。在運(yùn)行速度方面,雙階段檢測(cè)方法Faster R-CNN、Mask R-CNN和Cascade Mask R-CNN由于需要先對(duì)圖像提取候選框,然后基于候選區(qū)域做二次修正得到預(yù)測(cè)結(jié)果,雖然檢測(cè)精度較高,但是檢測(cè)耗時(shí)也比較長。單階段檢測(cè)方法RetinaNet和CenterSAR直接對(duì)輸入圖像進(jìn)行計(jì)算生成檢測(cè)結(jié)果,因此具有較快的檢測(cè)速度。

圖7 不同模型參數(shù)量與運(yùn)行時(shí)間對(duì)比Fig.7 Comparison of the different model parameters and running time

本文所提CenterSAR方法是一種基于目標(biāo)關(guān)鍵點(diǎn)的單階段檢測(cè)方法,由于不需要額外的后處理以去除大量的重復(fù)錨框,因此檢測(cè)速度遠(yuǎn)高于其他對(duì)比方法(含RetinaNet),單張SAR圖像檢測(cè)的平均耗時(shí)最少僅需0.024 s(ResNet-18)。在模型大小方面,現(xiàn)有的目標(biāo)檢測(cè)方法都依賴于復(fù)雜的骨干網(wǎng)絡(luò)提取圖像特征,且融合了特征金字塔網(wǎng)絡(luò)FPN對(duì)圖片進(jìn)行多尺度變化增強(qiáng)以更好地檢測(cè)小目標(biāo)。然而這不僅帶來了極大的計(jì)算量,同時(shí)還大大增加了模型的參數(shù)量。相比之下,本文的CenterSAR使用了更加輕量化的設(shè)計(jì)。當(dāng)采用 ResNet-18作為骨干網(wǎng)絡(luò)時(shí),模型大小僅為36.3 MB,檢測(cè)耗時(shí)僅為0.024 s,在保證檢測(cè)精度的同時(shí),提高了檢測(cè)效率。當(dāng)骨干網(wǎng)絡(luò)的層數(shù)加深,即采用ResNet-34時(shí),本文的CenterSAR在檢測(cè)精度上有略微提升,但犧牲了一定的檢測(cè)效率且增加了模型參數(shù)量。因此,考慮到實(shí)際應(yīng)用對(duì)于模型性能的需求,采用ResNet-18作為本文CenterSAR模型的骨干網(wǎng)絡(luò)是更好的選擇。

3.5 消融實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提CenterSAR中CSPNet和SPP[37]網(wǎng)絡(luò)對(duì)最終目標(biāo)檢測(cè)性能的影響,在HRSID數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)以分析CSPNet和SPP網(wǎng)絡(luò)的有效性。消融實(shí)驗(yàn)結(jié)果如表3所示。第1組為以ResNet-18為骨干網(wǎng)絡(luò)的CenterNet模型,第2組為在第1組基礎(chǔ)上融合了CSPNet的CenterNet模型,第3組為在第1組基礎(chǔ)上融合了SPP網(wǎng)絡(luò)的CenterNet模型,第4組為在第1組基礎(chǔ)上融合了CSPNet和SPP網(wǎng)絡(luò)的CenterNet模型,即本文所提的CenterSAR。與第1組相比,融合了CSPNet的CenterNet模型的AP50達(dá)到了89.1%,使得其檢測(cè)精度提高了0.4%,而模型大小降低到39.7 MB,檢測(cè)耗時(shí)降低到0.028 s。因?yàn)椴捎每珉A段的分割與合并策略,增強(qiáng)了骨干網(wǎng)絡(luò)的學(xué)習(xí)能力,降低了模型參數(shù)量和消除了計(jì)算瓶頸,從而提高檢測(cè)精度和檢測(cè)效率。據(jù)APs、APm和APl的結(jié)果可以發(fā)現(xiàn),融合了CSPNet的CenterNet模型在一定程度上提高了不同尺度目標(biāo)的檢測(cè)精度。與第1組相比,融合了SPP網(wǎng)絡(luò)的CenterNet模型的AP50達(dá)到了89.5%,使得其檢測(cè)精度提高了0.8%,而模型參數(shù)降低到40.2 MB,運(yùn)行速度降低到0.031 s。說明融合SPP網(wǎng)絡(luò)使模型能更好地獲得豐富的局部特征信息,對(duì)模型整體檢測(cè)性能的提升有一定的影響,在一定程度上降低了模型參數(shù)大小和減少了計(jì)算量,從而提高檢測(cè)精度和檢測(cè)效率。據(jù)APs、APm和APl的結(jié)果可以發(fā)現(xiàn),融合了SPP網(wǎng)絡(luò)的CenterNet模型在顯著提高了不同尺度目標(biāo)的檢測(cè)精度,從而適用于SAR圖像多尺度艦船目標(biāo)檢測(cè)。與前3組相比,本文所提的CenterSAR融合了CSPNet和SPP網(wǎng)絡(luò),其檢測(cè)性能獲得最優(yōu),AP50達(dá)到了90.1%,而模型參數(shù)降低到36.3 MB,運(yùn)行速度降低到0.024 s。主要原因是該模型繼承了ResNet、CSPNet和SPP網(wǎng)絡(luò)優(yōu)勢(shì),提升了骨干網(wǎng)絡(luò)學(xué)習(xí)能力和局部特征提取能力,通過對(duì)骨干網(wǎng)絡(luò)提取重要特征并進(jìn)行特征融合,從而進(jìn)一步提高目標(biāo)檢測(cè)精度和檢測(cè)效率。

表3 CSPNet和SPP消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experimental results of the CSPNet and SPP

3.6 骨干網(wǎng)絡(luò)對(duì)比

為探討不同骨干網(wǎng)絡(luò)對(duì) CenterSAR 性能的影響,分別使用層數(shù)更深的ResNet-50、ResNet-101以及更加輕量化的MobileNet[38]作為CenterSAR的骨干網(wǎng)絡(luò),在HRSID數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。

表4為使用不同骨干網(wǎng)絡(luò)的CenterSAR模型的對(duì)比結(jié)果,包括模型參數(shù)量、運(yùn)行速度與檢測(cè)精度。可以發(fā)現(xiàn),使用更深的 ResNet(如ResNet-50與ResNet-101),CenterSAR的檢測(cè)性能存在嚴(yán)重的下降,AP相比于ResNet-18降低了6.3%。使用更深的骨干網(wǎng)絡(luò)造成了CenterSAR對(duì)各種尺度艦船目標(biāo)檢測(cè)性能受到嚴(yán)重影響,尤其是針對(duì)大型艦船目標(biāo)的檢測(cè),APl降低了14.6%,這也說明了SAR圖像與光學(xué)圖像存在差異,使用更深的網(wǎng)絡(luò)對(duì)于圖像特征提取并不會(huì)帶來優(yōu)勢(shì),反而導(dǎo)致模型性能的降低。此外,更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)還造成了模型參數(shù)和運(yùn)行時(shí)間的大大增加,使用ResNet-101作為骨干網(wǎng)絡(luò)的 CenterSAR參數(shù)量達(dá)到259.1 MB,運(yùn)行時(shí)間達(dá)到了 0.086 s,使得本文所提的CenterSAR方法逐漸失去在模型大小和運(yùn)行速度上的優(yōu)勢(shì)。

表4 基于不同骨干網(wǎng)絡(luò)的CenterSAR模型的對(duì)比Table 4 Comparison of CenterSAR models based on different backbone networks

由表4還可以發(fā)現(xiàn),使用MobileNet作為骨干網(wǎng)絡(luò)具有輕量化的優(yōu)勢(shì),模型參數(shù)量僅為29.7 MB,并且運(yùn)行速度為0.022 s,相較于使用ResNet-18的模型更加輕量化與快速。然而,在檢測(cè)性能方面,使用MobileNet作為骨干網(wǎng)絡(luò)的CenterSAR模型 AP僅為55.5%,并且在各項(xiàng)檢測(cè)指標(biāo)上都不如使用 ResNet-18作為骨干網(wǎng)絡(luò)的結(jié)果。該實(shí)驗(yàn)結(jié)果表明,盡管MobileNet是一個(gè)輕量高效的卷積神經(jīng)網(wǎng)絡(luò),但并不適用于作為提取SAR圖像特征的骨干網(wǎng)絡(luò)。

綜上,本文選擇ResNet-18或ResNet-34作為所提CenterSAR 的骨干網(wǎng)絡(luò)是合理有效的,不僅具有較好的檢測(cè)性能,同時(shí)在模型大小與運(yùn)行速度方面也取得了較好的平衡,適用于對(duì)模型輕量化程度與運(yùn)行效率要求較高的嵌入式設(shè)備場(chǎng)景。

3.7 泛化性能分析

為進(jìn)一步驗(yàn)證所提方法的泛化性能,額外選取海軍航空大學(xué)發(fā)布的SAR圖像艦船檢測(cè)數(shù)據(jù)集(SAR ship detection dataset,SSDD)對(duì)本文所提CenterSAR模型進(jìn)行測(cè)試。由于SSDD數(shù)據(jù)集中 SAR 圖像來源與 HRSID 數(shù)據(jù)集類似,直接采用在 HRSID 數(shù)據(jù)集訓(xùn)練所得到的CenterSAR模型在SSDD數(shù)據(jù)集上進(jìn)行測(cè)試,測(cè)試結(jié)果如圖8所示。由圖8(a)～(d)可以發(fā)現(xiàn),艦船目標(biāo)均已被正確檢測(cè),且沒有出現(xiàn)虛警現(xiàn)象,無論是在近海場(chǎng)景或近岸場(chǎng)景中,預(yù)測(cè)的檢測(cè)框(紅色)與真實(shí)的檢測(cè)框(綠色)都具有較高的重合度,表明本文CenterSAR具有很好的泛化性能與可靠性。由圖8(b)～(d)可以發(fā)現(xiàn),在近岸場(chǎng)景(尤其是小型艦船場(chǎng)景)中,本文CenterSAR能夠準(zhǔn)確無誤地檢測(cè)出所有艦船目標(biāo),說明本文 CenterSAR 對(duì)于多尺度(小型、中型和大型)艦船檢測(cè)是有效而穩(wěn)健的。由圖8(e)～(f)可以發(fā)現(xiàn),在復(fù)雜場(chǎng)景(尤其是港口場(chǎng)景)中,艦船目標(biāo)排列密集,重合度較高,并且陸面區(qū)域干擾影響較大,本文CenterSAR仍能實(shí)現(xiàn)較好的檢測(cè)性能,能正確檢測(cè)沿岸場(chǎng)景中所有艦船目標(biāo)且未出現(xiàn)虛警現(xiàn)象,僅對(duì)港口場(chǎng)景中個(gè)別艦船目標(biāo)出現(xiàn)了虛警現(xiàn)象,這表明本文所提方法具有較好的抗干擾性。值得注意的是,該實(shí)驗(yàn)結(jié)果是CenterSAR在HRSID 訓(xùn)練得到的模型直接遷移至SSDD數(shù)據(jù)集進(jìn)行檢測(cè)得到的,并不需要額外利用SSDD數(shù)據(jù)集進(jìn)行訓(xùn)練,說明本文所提CenterSAR具有較好的魯棒性和泛化性,有利于遷移到真實(shí)場(chǎng)景中進(jìn)行廣泛應(yīng)用。

圖8 基于SSDD數(shù)據(jù)集的不同場(chǎng)景下艦船檢測(cè)結(jié)果Fig.8 Ship target detection results in the different scenarios based on the SSDD dataset

4 結(jié)論

1)本文提出了一種基于改進(jìn)CenterNet的輕量級(jí)無錨框SAR圖像艦船檢測(cè)方法(即CenterSAR),著重解決復(fù)雜場(chǎng)景下多尺度艦船檢測(cè)的難題,并提高了模型檢測(cè)速度和運(yùn)行效率。

2)本文CenterSAR通過預(yù)測(cè)目標(biāo)關(guān)鍵點(diǎn)信息及檢測(cè)框的相關(guān)屬性,以實(shí)現(xiàn)艦船目標(biāo)的檢測(cè),該方法摒棄了現(xiàn)有基于密集錨框生成的思想,從而具有輕量化與高效的優(yōu)勢(shì)。此外,該方法采用適用于SAR艦船圖像的數(shù)據(jù)增強(qiáng)方法以擴(kuò)充訓(xùn)練樣本,并引入多尺度訓(xùn)練以增強(qiáng)模型泛化性能。在公開SAR圖像艦船數(shù)據(jù)集HRSID上的實(shí)驗(yàn)結(jié)果表明,本文的CenterSAR方法對(duì)于弱小艦船目標(biāo)具有較好的檢測(cè)能力,能夠準(zhǔn)確識(shí)別不同尺度的艦船目標(biāo)。同時(shí),實(shí)驗(yàn)中采用了SSDD數(shù)據(jù)集對(duì)本文的CenterSAR的泛化性能進(jìn)行了驗(yàn)證。

3)本文的CenterSAR是基于目標(biāo)關(guān)鍵點(diǎn)的單階段檢測(cè)方法,相比于基于錨框的檢測(cè)方法更適用于目標(biāo)稀疏的SAR圖像艦船目標(biāo)檢測(cè)任務(wù),在沿岸和港口等復(fù)雜場(chǎng)景下具有較好的魯棒性。

4)本文CenterSAR采用了輕量化的結(jié)構(gòu)設(shè)計(jì),檢測(cè)過程中不需要一系列后處理,在具備較優(yōu)的檢測(cè)性能的同時(shí)兼具有檢測(cè)速度快和模型參數(shù)少的優(yōu)勢(shì),因此在實(shí)時(shí)性要求較高的終端應(yīng)用場(chǎng)景下具有重要的應(yīng)用價(jià)值。