可變形殘差卷積與特征融合金字塔的SAR圖像船舶識(shí)別

王博，任慶慧，周慧★

（1.大連東軟信息學(xué)院軟件工程系，遼寧 大連 116023；2.大連東軟信息學(xué)院大數(shù)據(jù)科學(xué)與技術(shù)系，遼寧 大連 116023）

0 引言

合成孔徑雷達(dá)(synthetic aperture radar, SAR)技術(shù)作為一種主動(dòng)式頻率分析成像傳感器，利用小尺度真實(shí)天線孔徑雷達(dá)沿長線陣軌跡等速運(yùn)動(dòng)輻射，并結(jié)合對(duì)相參信號(hào)數(shù)據(jù)處理形成全時(shí)候高分辨率遙感影像，從而對(duì)包含偽裝遮擋性的物體具備全時(shí)觀測(cè)能力[1]。隨著SAR成像技術(shù)不斷進(jìn)步，對(duì)SAR圖像中船舶目標(biāo)識(shí)別的準(zhǔn)確性與時(shí)效性提出了更高的要求。

經(jīng)典SAR圖像船舶目標(biāo)檢測(cè)方法[2]根據(jù)數(shù)據(jù)及特征類型不同，設(shè)定不同的門限參數(shù)區(qū)分圖像內(nèi)部像素點(diǎn)，以完成目標(biāo)及背景的分割實(shí)現(xiàn)目標(biāo)檢測(cè)[3]。然而此類方法區(qū)分設(shè)定相對(duì)單一，面對(duì)不同場(chǎng)景需制定具體的解決方案，在實(shí)際使用過程中經(jīng)常發(fā)生船舶識(shí)別泛化能力差、虛警率高的問題。

隨著人工智能計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于深度學(xué)習(xí)圖像識(shí)別算法在目標(biāo)檢測(cè)、語義分割等多個(gè)領(lǐng)域取得了相比傳統(tǒng)算法更高效的應(yīng)用效果，深度學(xué)習(xí)算法以其端到端的檢測(cè)思想，根據(jù)不同識(shí)別目標(biāo)構(gòu)建訓(xùn)練樣本，幾乎無需人工干預(yù)完全應(yīng)用一套網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練，就可實(shí)現(xiàn)不同場(chǎng)景特定目標(biāo)的識(shí)別。深度學(xué)習(xí)技術(shù)在應(yīng)用SAR圖像船舶識(shí)別時(shí)無需區(qū)分近岸遠(yuǎn)海目標(biāo)，網(wǎng)絡(luò)通過自主學(xué)習(xí)便完成深度語義特征提取[4]。

如今已涌現(xiàn)的應(yīng)用于自然光學(xué)影像中的目標(biāo)檢測(cè)算法為基于深度學(xué)習(xí)的SAR圖像船舶識(shí)別提供了良好的理論基礎(chǔ)。按照目標(biāo)檢測(cè)分類原理可以將現(xiàn)存算法分為兩種類別，其一為基于候選框卷積的RCNN系列（包含F(xiàn)ast RCNN[5]和Faster RCNN[6]）構(gòu)建的Two-stage檢測(cè)算法，另一種為基于回歸卷積的Yolo系列（包含Yolo3[7]、Yolo4[8]）構(gòu)建的One-stage檢測(cè)算法。Two-stage算法核心在于候選框的選擇其運(yùn)行步驟為候選框選取、特征提取、分類及回歸算法，模型結(jié)構(gòu)決定其特點(diǎn)為檢測(cè)精度高但檢測(cè)速度慢，One-stage算法核心在于僅運(yùn)用一次卷積即實(shí)現(xiàn)全特征提取，模型結(jié)構(gòu)決定其特點(diǎn)為檢測(cè)速度快但檢測(cè)精度較低。

鑒于Faster RCNN的高檢測(cè)精度，較多研究學(xué)者將其應(yīng)用至SAR圖像船舶識(shí)別任務(wù)中。李廣帥等人[9]基于Faster RCNN通過設(shè)計(jì)多路不同尺寸卷積核加強(qiáng)對(duì)淺層特征的提取，采用增加特征提取網(wǎng)絡(luò)深度以增加模型復(fù)雜度換取檢測(cè)精度的提升。2021年，曹磊等人[10]基于Faster RCNN通過特征提取對(duì)網(wǎng)絡(luò)中最深3個(gè)特征層進(jìn)行特征提取及正則化處理，并與區(qū)域建議網(wǎng)絡(luò)RPN進(jìn)行信息融合，但依舊是從增加特征提取網(wǎng)絡(luò)深度出發(fā)，增加模型復(fù)雜度。阮晨等人[11]通過將注意力機(jī)制和特征金字塔與原Faster RCNN特征提取網(wǎng)絡(luò)相結(jié)合，以一種加權(quán)融合的方式拓寬網(wǎng)絡(luò)寬度以提取豐富的語義信息，實(shí)驗(yàn)驗(yàn)證了其有效性與可行性。同時(shí)，基于檢測(cè)速度的提升，樊?，|等人[12]提出采用新的二分類損失函數(shù)并使用軟化非極大值抑制算法（Soft-NMS）進(jìn)行優(yōu)化，有效提升了檢測(cè)速度，但檢測(cè)精度有所損耗。

對(duì)于提升復(fù)雜場(chǎng)景下的SAR圖像目標(biāo)檢測(cè)精度及檢測(cè)速度，降低模型復(fù)雜度及訓(xùn)練代價(jià)，仍然是當(dāng)前大多數(shù)算法亟需解決的問題。本文基于Faster RCNN算法進(jìn)行優(yōu)化。首先，在特征提取網(wǎng)絡(luò)中引入可變形殘差ResNeXt101_vd卷積網(wǎng)絡(luò)，使用一種平行堆疊相同拓?fù)浣Y(jié)構(gòu)的組卷積模塊，使模型層數(shù)加深情況下依然降低超參數(shù)計(jì)算代價(jià)，同時(shí)添加DCN[13]可變形卷積模塊以提高特征提取中對(duì)幾何目標(biāo)形變的適應(yīng)能力。其次，將特征融合金字塔FPN[14]網(wǎng)絡(luò)嵌入傳統(tǒng)RPN中以映射為新的特征空間用于檢測(cè)目標(biāo)，同時(shí)利用Kmeans算法對(duì)初始先驗(yàn)框進(jìn)行優(yōu)化以增加多尺度目標(biāo)檢測(cè)精度。

1 改進(jìn)的Faster RCNN模型

對(duì)于解決復(fù)雜場(chǎng)景下的SAR圖像船舶目標(biāo)檢測(cè)任務(wù)，傳統(tǒng)Faster RCNN會(huì)因結(jié)構(gòu)本身造成對(duì)多尺度的船舶目標(biāo)檢測(cè)性能不魯棒、沿海區(qū)域復(fù)雜場(chǎng)景船舶虛警漏警率高等問題，針對(duì)此問題，本文提出一種改進(jìn)的Faster RCNN模型。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要有以下2方面改進(jìn)。

圖1 本文算法網(wǎng)絡(luò)結(jié)構(gòu)

為了提高小目標(biāo)檢測(cè)精度，解決Faster RCNN在特征提取最大池化操作中特征圖分辨率低下造成的小目標(biāo)細(xì)節(jié)信息丟失問題，及多尺度目標(biāo)旋轉(zhuǎn)角度多變?cè)斐傻奶摼矢邌栴}，替換原VGG16網(wǎng)絡(luò)為ResNeXt101_vd網(wǎng)絡(luò)，并引入DCN網(wǎng)絡(luò)構(gòu)成可變形殘差卷積ResNeXt101_vd-DCN網(wǎng)絡(luò)。

為了高效利用尺度不同的特征圖，解決使用Anchor boxes生成機(jī)制引起的邊框回歸收斂較慢問題，融合原區(qū)域建議網(wǎng)絡(luò)RPN為特征融合金字塔FPN網(wǎng)絡(luò)，并利用Kmeans算法優(yōu)化錨點(diǎn)框，使其更符合SAR圖像中船舶形狀特征。

1.1 可變形殘差卷積模塊

傳統(tǒng)Faster RCNN在初始特征提取中將VGG16作為主體網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)較大產(chǎn)生訓(xùn)練參數(shù)太多，易出現(xiàn)訓(xùn)練冗余且過擬合現(xiàn)象。雖然VGG16每2～3次卷積后就會(huì)使用一次最大池化操作用以減小網(wǎng)絡(luò)復(fù)雜度，但隨著網(wǎng)絡(luò)加深多次池化后的特征圖分辨率會(huì)大幅下降，造成小目標(biāo)細(xì)節(jié)信息丟失問題。因此，本文嘗試替換為ResneXt作為主體網(wǎng)絡(luò)，ResneXt網(wǎng)絡(luò)結(jié)合了VGG網(wǎng)絡(luò)堆疊的結(jié)構(gòu)及Inception網(wǎng)絡(luò)拆分-轉(zhuǎn)換-合并的思想，基于Resnet設(shè)計(jì)出一種高度殘差模塊以解決加深網(wǎng)絡(luò)層引起的退化問題，同時(shí)引入cardinality基數(shù)在減少超參數(shù)復(fù)雜度的同時(shí)提高準(zhǔn)確度，借鑒Resnet-D型網(wǎng)絡(luò)對(duì)于下采樣塊的改進(jìn)，在ResneXt網(wǎng)絡(luò)每組殘差卷積中平行添加1個(gè)平均池化avgpool，以避免卷積過程出現(xiàn)的信息流失。圖2為最終融合成的ResneXt101_vd網(wǎng)絡(luò)中一個(gè)基本模塊，可在每個(gè)低維構(gòu)建中執(zhí)行一系列變換，最終通過將輸出相加的方式聚合。

圖2 ResneXt101_vd 的一個(gè)基本模塊

SAR圖像中船舶目標(biāo)大小比例不一且旋轉(zhuǎn)角度多變，對(duì)于此類目標(biāo)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)效果不是很好，DCN方法將其卷積核在每一個(gè)元素點(diǎn)中增加一個(gè)偏移參數(shù)，使得經(jīng)可變形卷積后的感受野不再是單一矩形，而與實(shí)際目標(biāo)形狀相匹配，進(jìn)而使感受野更加精確覆蓋在形變的目標(biāo)周圍，普通卷積與可變形卷積的對(duì)比如圖3所示?？勺冃尉矸e核在模型訓(xùn)練過程中可以自覺調(diào)整卷積的感受野，從而更加精準(zhǔn)地提取目標(biāo)特征以提高檢測(cè)精度，但一定程度上也會(huì)引入額外的計(jì)算代價(jià)，因此本文只在ResneXt101_vd的最后一個(gè)stage（C5）上引入可變形卷積，以實(shí)現(xiàn)增加極少計(jì)算量高效提升模型精度的目的。

圖3 普通卷積與可變形卷積對(duì)比示意圖

1.2 特征融合金字塔模塊

傳統(tǒng)Faster RCNN利用RPN結(jié)合主體網(wǎng)絡(luò)輸出的頂層特征圖進(jìn)行后續(xù)的目標(biāo)分類及邊框回歸操作。頂層特征圖是由深層卷積網(wǎng)絡(luò)多次下采樣而得的，雖然具有比較豐富的語義特征信息，但是會(huì)大量損失細(xì)節(jié)信息，并且由于SAR圖像成像范圍大，內(nèi)部船舶目標(biāo)相對(duì)較小，導(dǎo)致本身較小的像素信息在多次下采樣過程中極易丟失，最終導(dǎo)致船舶漏檢。為了解決這一問題，本文引入FPN特征融合金字塔模塊并與前主體網(wǎng)絡(luò)可變形殘差卷積模塊互聯(lián)，結(jié)構(gòu)如圖4所示。圖中C2-C5是ResneXt101_vd網(wǎng)絡(luò)自下而上的特征映射；C2-C5再通過自上而下路徑進(jìn)行上采樣得到較高金字塔分層的特征映射；P2-P6是C2-C5通過1x1卷積核（通道數(shù)256）與上采樣特征橫向連接形成的新的特征映射；P7為P6再進(jìn)行一次3x3卷積得到，以消除上采樣出現(xiàn)的混疊效應(yīng)，最終即為構(gòu)建的特征融合金字塔模塊。

圖4 可變形殘差卷積模塊與特征融合金字塔模塊互聯(lián)示意圖

在P2-P6特征映射層上分別搭配像素面積為{32，64，128}，長寬比為{1:1，1:2，2:1}的組合錨點(diǎn)框（anchor boxes），在不同的特征映射層上以每個(gè)錨點(diǎn)為中心，每個(gè)Anchor框?yàn)楣潭ǚ秶M(jìn)行窗口滑動(dòng)生成候選框，這些候選框一方面進(jìn)入全連接層進(jìn)行分類訓(xùn)練，另一方面計(jì)算候選框與真實(shí)框的交并比（IoU）選取最佳候選框作為感興趣區(qū)域（region of interest,RoI）用于回歸訓(xùn)練。但是由于SAR圖像中船舶目標(biāo)尺度差異較大，使用FPN中Anchor boxes生成機(jī)制會(huì)發(fā)生邊界框回歸收斂較慢的問題。因此，本文嘗試?yán)肒means聚類算法優(yōu)化錨點(diǎn)框，使其更符合SAR圖像中船舶形狀特征，首先，將訓(xùn)練集中真實(shí)標(biāo)注框的長寬參數(shù)作為Kmeans聚類算法的輸入，然后結(jié)合Kmeans算法的相似性原則，將K作為錨點(diǎn)框個(gè)數(shù)劃分相似度高的真實(shí)框?yàn)橥?，尺寸差異度過大的真實(shí)框劃分為不同簇，取不同簇間的中心框作為錨點(diǎn)框，同時(shí)計(jì)算不同簇中真實(shí)框的高寬平均值，進(jìn)而取得錨點(diǎn)框的最佳尺寸，Kmeans算法保證了初始聚類中心各自距離盡可能遠(yuǎn)，同時(shí)選用候選框與真實(shí)框的交并比（IoU）作為距離指標(biāo)，計(jì)算公式如式（1）所示。

d（box,centroid)=1-IoU（box,centroid） （1）

式中，box代表訓(xùn)練樣本的真實(shí)框坐標(biāo)，centroid代表聚類的中心框坐標(biāo)，d（box,centroid)代表真實(shí)框與聚類中心框間的距離，IoU（box,centroid）代表真實(shí)框與聚類中心框間的交并比。

2 實(shí)驗(yàn)過程與分析

2.1 數(shù)據(jù)集與實(shí)驗(yàn)過程

本文所用數(shù)據(jù)集為我國國產(chǎn)高分三號(hào)SAR圖像數(shù)據(jù)和Sentinel-1SAR圖像共同組合數(shù)據(jù)集[15]（43819張SAR船舶圖像切片），其成像模式采用Full Polarization1（QPSI）、Full Polarization2（QPSII）等，包含3m、5m、8m、10m多源分辨率SAR船舶圖像，數(shù)據(jù)集如圖5所示，利用labelImg標(biāo)注圖像內(nèi)船舶的類別及位置（共計(jì)59534個(gè)船舶目標(biāo)），并按照7:2:1的比例劃分為訓(xùn)練集、驗(yàn)證集及測(cè)試集。

圖5 多尺度復(fù)雜場(chǎng)景下SAR 圖像船舶數(shù)據(jù)集

實(shí)驗(yàn)平臺(tái)為Windows server 2012，GPU為NVIDIA Tesla V100，實(shí)驗(yàn)開發(fā)語言為Python3.6，模型基于Tensorflow實(shí)現(xiàn)可變形殘差卷積網(wǎng)絡(luò)模型對(duì)船舶目標(biāo)進(jìn)行檢測(cè)。模型訓(xùn)練參數(shù)如下：最大迭代次數(shù)為180000，學(xué)習(xí)率采用Adam優(yōu)化策略，NMS的交互比閾值為0.5，當(dāng)模型訓(xùn)練loss損失經(jīng)過數(shù)次震蕩后變?yōu)槠椒€(wěn)則完成訓(xùn)練。

2.2 評(píng)價(jià)指標(biāo)

本文采用查準(zhǔn)率（precision）、查全率（recall）、平均準(zhǔn)確率（average precision，AP）、每秒幀數(shù)（frame per second,FPS）作為算法的評(píng)價(jià)指標(biāo)。

查準(zhǔn)率（precision，P）：表示算法識(shí)別檢測(cè)全目標(biāo)中真實(shí)正樣本的比例，計(jì)算公式如下，TP代表真正例，F(xiàn)P代表假正例。

2.3 實(shí)驗(yàn)分析

訓(xùn)練完成后利用測(cè)試集對(duì)模型進(jìn)行評(píng)估，計(jì)算各改進(jìn)模塊加入后模型AP值的對(duì)比如表1所示，可見替換原VGG16網(wǎng)絡(luò)為ResNeXt101_vd網(wǎng)絡(luò)，并引入DCN網(wǎng)絡(luò)，使模型精度提升了2.91%；同時(shí)融合原RPN為特征融合金字塔FPN網(wǎng)絡(luò)，并利用Kmeans算法優(yōu)化錨點(diǎn)框，使模型精度再次提升4.28%，該實(shí)驗(yàn)表明各改進(jìn)模塊對(duì)于SAR圖像船舶目標(biāo)檢測(cè)精度提升均有明顯效果。

表1 引入不同改進(jìn)模塊的檢測(cè)結(jié)果對(duì)比

利用數(shù)量、尺度均完全一致的SAR圖像船舶測(cè)試集(4382個(gè))對(duì)改進(jìn)前后的算法進(jìn)行圖像效果識(shí)別及相關(guān)參數(shù)評(píng)估，檢測(cè)結(jié)果性能對(duì)比如表2所示?？梢姳疚乃惴ǖ腜recision為91.79%，Recall為91.2%，F(xiàn)1_score為91.49%，總體而言，改進(jìn)后的算法相較于傳統(tǒng)Faster RCNN網(wǎng)絡(luò)上檢測(cè)精度提升7.19%，檢測(cè)速度提升3.91，該結(jié)果表明改進(jìn)后算法能實(shí)現(xiàn)檢測(cè)精度及速度雙高的SAR圖像船舶識(shí)別，具有一定的實(shí)際意義。

表2 改進(jìn)前后性能對(duì)比指標(biāo)表

同時(shí)在不同復(fù)雜場(chǎng)景下檢測(cè)結(jié)果如圖6所示，傳統(tǒng)Faster RCNN算法雖然可以識(shí)別出SAR圖像中大部分船舶目標(biāo)，但對(duì)于多尺度復(fù)雜場(chǎng)景下（如圖6近海建筑）識(shí)別檢測(cè)會(huì)出現(xiàn)誤警率高的問題，并且對(duì)于目標(biāo)與背景融合度高的場(chǎng)景（如圖6島嶼）會(huì)出現(xiàn)識(shí)別錯(cuò)誤的問題，同時(shí)對(duì)于邊緣化目標(biāo)場(chǎng)景（如圖6海域、近海港口）會(huì)出現(xiàn)漏檢的問題，這些誤警、漏檢、識(shí)別錯(cuò)誤的問題，主要由于VGG16網(wǎng)絡(luò)提取特征不深、RPN網(wǎng)絡(luò)只從最后一層卷積上提取特征，造成提取的特征沒有深層次語義，小尺度目標(biāo)細(xì)節(jié)丟失導(dǎo)致。針對(duì)上述問題，本文算法通過可變形殘差卷積模塊、特征融合金字塔模塊兩種改進(jìn)綜合提升傳統(tǒng)Faster RCNN算法檢測(cè)精度，更加適用于當(dāng)下多尺度復(fù)雜場(chǎng)景下的SAR圖像船舶目標(biāo)識(shí)別任務(wù)。

圖6 改進(jìn)前后算法識(shí)別效果對(duì)比示意圖

3 結(jié)語

本文提出一種基于可變形殘差卷積與特征融合金字塔的Faster RCNN目標(biāo)檢測(cè)算法，用于SAR圖像船舶目標(biāo)檢測(cè)研究中。經(jīng)實(shí)驗(yàn)數(shù)據(jù)集檢測(cè)結(jié)果表明，相較于傳統(tǒng)Faster RCNN，本文算法針對(duì)在復(fù)雜場(chǎng)景下近岸船舶、港口?？看埃h(yuǎn)海多尺度小目標(biāo)船舶具有更優(yōu)的檢測(cè)精度。在檢測(cè)時(shí)間方面，本文算法相較于傳統(tǒng)Faster RCNN也有小幅度提升，能夠適應(yīng)高精度近實(shí)時(shí)的檢測(cè)任務(wù)。接下來的工作將主要針對(duì)算法效率優(yōu)化方向進(jìn)行研究，進(jìn)一步提升檢測(cè)速度。