基于感知向量的光學(xué)遙感圖像艦船檢測(cè)

潘超凡, 李潤(rùn)生, 許 巖, 胡 慶, 牛朝陽(yáng), 劉 偉

(信息工程大學(xué)數(shù)據(jù)與目標(biāo)工程學(xué)院, 河南 鄭州 450001)

0 引 言

光學(xué)遙感圖像艦船目標(biāo)檢測(cè)任務(wù)在獲取敵方艦船情報(bào)、為己方指揮員提供決策參考方面發(fā)揮著重要作用,關(guān)乎海戰(zhàn)場(chǎng)的戰(zhàn)局勝敗。當(dāng)前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)按照是否考慮了目標(biāo)角度信息可分為水平框檢測(cè)和旋轉(zhuǎn)框檢測(cè)。

水平框檢測(cè)通過預(yù)測(cè)目標(biāo)的水平最小外接矩形來表示目標(biāo),其發(fā)展大致經(jīng)歷了滑動(dòng)窗口法、選擇性搜索法、區(qū)域生成網(wǎng)絡(luò)(region proposal network, RPN)、無錨框檢測(cè)4個(gè)階段[1-8]。水平框檢測(cè)適用目標(biāo)小長(zhǎng)寬比、稀疏排列的情況。對(duì)于一些大長(zhǎng)寬比的目標(biāo)和密集排列場(chǎng)景,水平框可能會(huì)出現(xiàn)相互之間高重疊的情況,在非極大抑制時(shí)會(huì)排除掉一些預(yù)測(cè)框,導(dǎo)致漏檢。除此之外,對(duì)任意方向的大長(zhǎng)寬比目標(biāo)進(jìn)行預(yù)測(cè)時(shí)，包圍框內(nèi)含有大量背景區(qū)域,其噪聲信息的干擾會(huì)降低網(wǎng)絡(luò)檢測(cè)性能。

旋轉(zhuǎn)框考慮了目標(biāo)的角度信息,可以很好地解決上述問題。當(dāng)前的旋轉(zhuǎn)目標(biāo)檢測(cè)器按照是否采用預(yù)定義的候選框可大致分為兩類:基于錨框的檢測(cè)器[9-12]和無錨框的檢測(cè)器[13-15]?；阱^框旋轉(zhuǎn)檢測(cè)器根據(jù)先驗(yàn)錨框提取候選目標(biāo)區(qū)域并完成分類和回歸過程,而無錨框類檢測(cè)器通過關(guān)鍵點(diǎn)預(yù)測(cè)實(shí)現(xiàn)對(duì)目標(biāo)的建模。

由于光學(xué)遙感圖像的成像為俯視視角,因此光學(xué)遙感圖像中的艦船目標(biāo)具有任意方向和多尺度的特點(diǎn)。對(duì)于艦船這種大長(zhǎng)寬比的旋轉(zhuǎn)目標(biāo),采用旋轉(zhuǎn)框檢測(cè)方法可以更好地貼合目標(biāo),避免背景區(qū)域的干擾。針對(duì)這些特點(diǎn),一些學(xué)者設(shè)計(jì)了相應(yīng)的檢測(cè)網(wǎng)絡(luò)以實(shí)現(xiàn)對(duì)艦船目標(biāo)的精確檢測(cè)。Zhu等[16]提出一種基于關(guān)鍵點(diǎn)提取的艦船檢測(cè)全卷積網(wǎng)絡(luò)DiamondNet,其基本思想是在考慮艦船形狀特征的基礎(chǔ)上設(shè)計(jì)了中心點(diǎn)、兩個(gè)頭尾點(diǎn)、兩個(gè)側(cè)翼點(diǎn)和5個(gè)關(guān)鍵點(diǎn)來導(dǎo)出有效的艦船表示,通過聚類算法將關(guān)鍵點(diǎn)分組到相應(yīng)目標(biāo)實(shí)例中,完成艦船目標(biāo)檢測(cè)。Zhang等[17]將艦船目標(biāo)建模成中心點(diǎn)和頭點(diǎn)兩個(gè)關(guān)鍵點(diǎn),由主干網(wǎng)絡(luò)和方向不變模型(orientation-invariant model,OIM)提取特征圖后預(yù)測(cè)關(guān)鍵點(diǎn),得到對(duì)艦船目標(biāo)的兩點(diǎn)表示,并利用先驗(yàn)信息精煉細(xì)化預(yù)測(cè)結(jié)果。

除此之外,光學(xué)遙感圖像艦船目標(biāo)檢測(cè)任務(wù)還面臨著背景噪聲的問題,尤其是近岸場(chǎng)景下的建筑物或碼頭等會(huì)給檢測(cè)帶來較大干擾。針對(duì)該問題,本文在一個(gè)基于包圍框邊緣感知向量(box boundary-aware vectors, BBAVectors)的無錨框類旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上添加了注意力機(jī)制模塊來增強(qiáng)目標(biāo)信息,解決近岸場(chǎng)景干擾大的問題。同時(shí)，考慮到原網(wǎng)絡(luò)的向量學(xué)習(xí)過程僅依靠回歸過程進(jìn)行,缺少相互之間的約束,本文基于4個(gè)向量間的幾何關(guān)系設(shè)計(jì)了一個(gè)損失函數(shù)來指導(dǎo)包圍框的學(xué)習(xí),提升了網(wǎng)絡(luò)的魯棒性。

1 基于BBAVectors的基線網(wǎng)絡(luò)

為解決基于錨框的檢測(cè)器兩階段旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)存在的正負(fù)樣本不平衡問題,Yi等[18]在CenterNet的基礎(chǔ)上進(jìn)行了擴(kuò)展,提出了一個(gè)單階段旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其中包含特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPN)。

圖1 基于BBAVectors的旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)

主干特征提取網(wǎng)絡(luò)采用ResNet101,特征圖金字塔網(wǎng)絡(luò)通過3次特征融合得到4倍下采樣特征圖C2,然后輸入4個(gè)檢測(cè)頭進(jìn)行目標(biāo)包圍框的學(xué)習(xí)。

中心點(diǎn)熱圖通道數(shù)為目標(biāo)類別數(shù),用來定位物體中心點(diǎn),熱圖上像素點(diǎn)的值為該點(diǎn)在相應(yīng)通道(類別)的置信度。訓(xùn)練熱圖的損失函數(shù)為變體focal loss,如下所示:

(1)

中心點(diǎn)偏移圖用于中心點(diǎn)回歸,訓(xùn)練損失為

(2)

(3)

包圍框參數(shù)b包括4個(gè)BBAVectors和水平外接矩形的寬高:b=[t,r,b,X,we,he]。訓(xùn)練損失為

(4)

當(dāng)旋轉(zhuǎn)框接近坐標(biāo)軸時(shí)會(huì)導(dǎo)致向量類型難以區(qū)分,旋轉(zhuǎn)方向特征圖可以較好地解決該問題。當(dāng)旋轉(zhuǎn)框和其水平外接矩形交并比達(dá)到某一閾值時(shí),預(yù)測(cè)框?yàn)槠渫饨泳匦?否則為旋轉(zhuǎn)框。旋轉(zhuǎn)方向特征圖定義為

(5)

式中：RBB表示旋轉(zhuǎn)框；IOU(·,·)表示交并比；OBB表示定向框；HBB表示水平框。損失函數(shù)為

(6)

2 改進(jìn)模型

本文在特征融合網(wǎng)絡(luò)和檢測(cè)頭之間添加了一個(gè)有監(jiān)督的多維注意力機(jī)制模塊[19],通過真值掩膜圖指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí),有助于將更多的注意力集中到艦船目標(biāo)區(qū)域,削弱背景噪聲的干擾。同時(shí)，本文還設(shè)計(jì)了針對(duì)4個(gè)BBAVectors之間約束關(guān)系的損失函數(shù),以此來保證相鄰向量間的兩兩垂直關(guān)系,加強(qiáng)了學(xué)習(xí)耦合性,降低了因向量獨(dú)立性造成的包圍框不規(guī)則性。

2.1 有監(jiān)督的注意力機(jī)制模塊

對(duì)于近岸艦船目標(biāo)檢測(cè),存在的較大挑戰(zhàn)是干擾較多,一些岸上目標(biāo)如房屋、船塢、碼頭等很容易被誤檢。本文對(duì)基線模型進(jìn)行了改進(jìn)以提高檢測(cè)精度。圖2為改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 改進(jìn)型網(wǎng)絡(luò)

注意力機(jī)制借鑒了人腦聚焦感興趣目標(biāo)的功能,旨在讓神經(jīng)網(wǎng)絡(luò)模型對(duì)不同區(qū)域具有不同的關(guān)注度。對(duì)于目標(biāo)區(qū)域,注意力機(jī)制會(huì)賦予其更高的特征權(quán)重,同時(shí)抑制背景區(qū)域權(quán)重值,以此來投入更多的注意力資源,獲取更多的目標(biāo)信息,提高網(wǎng)絡(luò)的目標(biāo)辨識(shí)能力。

本文將空間注意力機(jī)制和通道注意力機(jī)制并行組合,分別提取空間維度和通道維度的注意力權(quán)重,并將權(quán)重張量和輸入特征圖C2逐像素相乘實(shí)現(xiàn)對(duì)特征的重新加權(quán),得到信息連續(xù)的特征圖。不同于串聯(lián)方式,并行組合可以避免通道注意力機(jī)制全局平均池化造成的空間信息丟失,有效增強(qiáng)網(wǎng)絡(luò)對(duì)目標(biāo)特征的學(xué)習(xí)能力。

通道注意力分支由壓縮-激勵(lì)(squeeze-and-excitation, SE)注意力模塊[20]組成,該模塊針對(duì)通道域?qū)W習(xí)各通道間的相關(guān)性,并對(duì)通道重要性進(jìn)行打分得到每個(gè)通道的注意力權(quán)重。具體來講,SE模塊共分為兩部分,第一部分是對(duì)空間域進(jìn)行全局平均池化操作,得到1×1×C的一維向量,C為特征通道數(shù)。其原理在于通道注意力權(quán)重是作用于整個(gè)空間維度的,因此需要利用空間域的整體信息進(jìn)行計(jì)算,將其壓縮為1×1大小可以得到全局感受野,實(shí)現(xiàn)全局信息的綜合。第二部分是激發(fā)操作,通過壓縮和擴(kuò)張比率為16的兩級(jí)全連接層實(shí)現(xiàn)對(duì)一維向量的壓縮及擴(kuò)張恢復(fù)過程,最后經(jīng)過sigmoid激活函數(shù)得到通道注意力權(quán)重。兩級(jí)全連接層的目的在于實(shí)現(xiàn)通道間的信息交互,從而根據(jù)學(xué)習(xí)到的通道相關(guān)性校準(zhǔn)權(quán)重,避免了通道獨(dú)立帶來的權(quán)重學(xué)習(xí)片面性。

空間注意力分支[21]對(duì)輸入特征圖C2在通道維度進(jìn)行最大池化和平均池化得到雙通道顯著圖,經(jīng)過softmax函數(shù)后顯著圖的目標(biāo)信息相對(duì)于噪聲區(qū)域會(huì)得到有效增強(qiáng)。不同于平均池化,最大池化舍棄了通道維度的次重要信息,只選擇最具代表性的特征,對(duì)比度高,對(duì)特征的強(qiáng)化和對(duì)背景噪聲的抑制作用強(qiáng)?？紤]到對(duì)特征的表征能力,本文選擇最大池化通道的顯著圖作為空間注意力分支的權(quán)重。同時(shí),雙通道顯著圖經(jīng)過一個(gè)尺寸為7×7的卷積核進(jìn)行特征融合得到單通道特征圖,經(jīng)由sigmoid函數(shù)激活后和真值掩膜圖計(jì)算交叉熵?fù)p失作為注意力損失。該損失可有針對(duì)性地引導(dǎo)網(wǎng)絡(luò)關(guān)注目標(biāo)區(qū)域,發(fā)揮監(jiān)督訓(xùn)練的高效性。

對(duì)于單樣本而言,交叉熵?fù)p失函數(shù)定義如下:

(7)

(8)

在計(jì)算注意力損失時(shí),樣本空間為一個(gè)二維張量區(qū)域,樣本數(shù)量為h×w,因此交叉熵?fù)p失函數(shù)為

(9)

由于圖像中目標(biāo)區(qū)域面積占比相對(duì)較小,正負(fù)樣本分布失衡,直接計(jì)算交叉熵?fù)p失會(huì)使損失函數(shù)的分布向背景區(qū)域傾斜,導(dǎo)致訓(xùn)練的網(wǎng)絡(luò)對(duì)目標(biāo)區(qū)域關(guān)注度低,檢測(cè)性能差。為保證對(duì)目標(biāo)區(qū)域的有效學(xué)習(xí),需在損失函數(shù)中添加權(quán)重因子來提高目標(biāo)區(qū)域的損失權(quán)重,平衡正負(fù)樣本的分布。注意力損失函數(shù)最終定義為

(10)

式中:λ1為真值區(qū)域像素?fù)p失權(quán)重;λ0為背景區(qū)域像素?fù)p失權(quán)重。

2.2 真值掩膜圖生成算法

本文基于八參數(shù)系統(tǒng)設(shè)計(jì)了一個(gè)掩模圖生成算法,用于注意力模塊的監(jiān)督訓(xùn)練。建立一個(gè)二維平面直角坐標(biāo)系,坐標(biāo)原點(diǎn)為左上點(diǎn),如圖3(a)所示,標(biāo)注框頂點(diǎn)坐標(biāo)分別為(x1,y1),(x2,y2),(x3,y3),(x4,y4)。首先以第一組對(duì)邊建立兩直線方程,求得兩直線圍成的區(qū)域,再以第二組對(duì)邊建立兩直線方程并得到所圍區(qū)域,則兩區(qū)域交集即為標(biāo)注的目標(biāo)區(qū)域,如圖3(d)所示。將該區(qū)域賦值為1,其余區(qū)域賦值為0,即得到一張圖片的真值掩膜圖,效果如圖4所示。算法具體步驟如算法1所示。

圖3 地面真值掩膜生成原理圖

圖4 地面真值掩膜生成效果

算法 1 真值掩模圖計(jì)算輸入:八參數(shù)系統(tǒng)標(biāo)注坐標(biāo):(x1,y1),(x2,y2),(x3,y3),(x4,y4)掩模圖尺寸:W×H輸出:真值掩膜圖1:零初始化大小W×H×1的掩模圖;2:建立第一組直線方程:f1(x,y)=x(y1-y2)-y(x1-x2)-x1(y1-y2)+y1(x1-x2)f2(x,y)=x(y3-y4)-y(x3-x4)-x3(y3-y4)+y3(x3-x4)3:求解滿足f1(x,y)·f2(x,y)>0的坐標(biāo)集合M;4:建立第二組直線方程:f3(x,y)=x(y1-y4)-y(x1-x4)-x1(y1-y4)+y1(x1-x4)f4(x,y)=x(y3-y2)-y(x3-x2)-x3(y3-y2)+y3(x3-x2)5:求解滿足f3(x,y)·f4(x,y)>0的坐標(biāo)集合N;6:求解目標(biāo)區(qū)域:A=M∩N;7:將目標(biāo)區(qū)域像素值賦值1;8:輸出掩膜圖。

2.3 損失函數(shù)設(shè)計(jì)

通過學(xué)習(xí)BBAVectors,網(wǎng)絡(luò)可以將目標(biāo)位置信息統(tǒng)一到同一笛卡爾坐標(biāo)系下,避免各參數(shù)回歸的不一致性。但該方法也存在一個(gè)潛在的問題,如圖5所示。由于4個(gè)向量是單獨(dú)進(jìn)行學(xué)習(xí)的,因此相互間沒有約束關(guān)系,可能不滿足構(gòu)成矩形框的條件,即相鄰向量不一定垂直,反向向量不一定共線,導(dǎo)致最后學(xué)習(xí)到的包圍框?yàn)椴灰?guī)則四邊形。為解決上述問題,本文設(shè)計(jì)了一個(gè)向量監(jiān)督損失,通過向量間的約束關(guān)系保證包圍框?qū)W習(xí)的規(guī)范性。

圖5 BBAVectors潛在問題示意圖

損失函數(shù)計(jì)算分為3部分,分別為L(zhǎng)t·r、Ll·b、Lt·b。Lt·r由圖6(a)向量組合計(jì)算,用于保證一、二象限邊界向量垂直關(guān)系;Ll·b由圖6(b)向量組合計(jì)算,保證三、四象限邊界向量垂直關(guān)系;Lt·b由圖6(c)向量組合計(jì)算,保證一、三象限邊界向量共線關(guān)系。

圖6 向量監(jiān)督損失計(jì)算示意圖

3組損失共同作用可實(shí)現(xiàn)對(duì)相鄰向量?jī)蓛纱怪钡募s束關(guān)系,最終的向量監(jiān)督損失表達(dá)式如下:

Lvec=Lt·r+Ll·b+Lt·b

(11)

其中,Lt·r、Ll·b、Lt·b分別為

(12)

式中:N為目標(biāo)總數(shù);t、l、b、r分別為一、二、三、四象限的BBAVectors。計(jì)算損失時(shí)需將向量進(jìn)行歸一化,利用單位向量?jī)?nèi)積來衡量損失,此時(shí)的內(nèi)積值為兩向量夾角余弦值,可用于表示角度關(guān)系。如圖7所示,e1和e2為垂直關(guān)系時(shí),d=e1·e2=0;e1和e2反向共線時(shí),d=e1·e2=-1。

圖7 向量監(jiān)督損失計(jì)算原理

將本文設(shè)計(jì)的向量約束損失和空間注意力監(jiān)督損失加入到基線網(wǎng)絡(luò)損失函數(shù),形成改進(jìn)的損失函數(shù):

L=Lh+Lo+Lb+Lα+weight1·Latt+weight2·Lvec

(13)

式中,weight1和weight2分別為注意力損失和向量約束損失的協(xié)調(diào)系數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)驗(yàn)證采用的遙感艦船目標(biāo)數(shù)據(jù)集為HRSC2016[22],涵蓋了近岸和海面場(chǎng)景,共包括大小介于300×300～1 500×900的1 061幅圖像,目標(biāo)總數(shù)2 976。其中,訓(xùn)練集436幅圖像,驗(yàn)證集181幅圖像,測(cè)試集444幅圖像。該數(shù)據(jù)集檢測(cè)任務(wù)由3級(jí)構(gòu)成[23]:L1、L2、L3。L1級(jí)目標(biāo)類別均為船;L2級(jí)目標(biāo)由航母、戰(zhàn)艦、商船、潛艇組成;L3級(jí)目標(biāo)為L(zhǎng)2級(jí)目標(biāo)型號(hào)級(jí)別的細(xì)分類,共27類目標(biāo)。由于數(shù)據(jù)集中艦船目標(biāo)相對(duì)較大,為保證目標(biāo)完整性和訓(xùn)練效果,未對(duì)數(shù)據(jù)集進(jìn)行裁剪預(yù)處理。在訓(xùn)練過程中對(duì)輸入圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)和隨機(jī)裁剪的數(shù)據(jù)增強(qiáng)處理來防止過擬合問題,增強(qiáng)模型訓(xùn)練的魯棒性。

3.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)定

實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng),CPU為Inter(R) Xeon(R) Gold 5218 CPU @ 2.30 GHz,GPU為NVIDIA RTX 5000,顯存16G,開發(fā)平臺(tái)為pytorch 1.7.1+CUDA10.2。

訓(xùn)練參數(shù)設(shè)置epoch=100,batchsize=8,初始學(xué)習(xí)率為0.000 125,學(xué)習(xí)率調(diào)整選擇指數(shù)型調(diào)整策略,學(xué)習(xí)率衰減因子為0.96,采用自適應(yīng)矩估計(jì)法Adam作為優(yōu)化器,主干特征提取網(wǎng)絡(luò)在ResNet101預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上進(jìn)行訓(xùn)練。訓(xùn)練過程中將輸入圖像縮放至608×608大小,輸出的4倍下采樣特征圖C2尺寸為152×152。式(9)中的超參數(shù)設(shè)置為λ1=3、λ0=1。式(12)中的超參數(shù)設(shè)置為weight1=1、weight2=1。

3.3 實(shí)驗(yàn)結(jié)果及分析

表1給出了本文改進(jìn)方法、基線網(wǎng)絡(luò)和同領(lǐng)域其他旋轉(zhuǎn)檢測(cè)網(wǎng)絡(luò)在L1級(jí)檢測(cè)任務(wù)上的檢測(cè)結(jié)果對(duì)比,07(12)表示使用2007(2012)評(píng)估指標(biāo)?？梢钥闯鲈跈z測(cè)精度方面,本文方法顯示出了具有競(jìng)爭(zhēng)力的性能。對(duì)于兩種檢測(cè)精度的評(píng)估指標(biāo),在基線網(wǎng)絡(luò)的基礎(chǔ)上分別提升了1.23%和3.75%。在推理速度方面,本文方法為12.68 fps,僅比基線網(wǎng)絡(luò)降低了0.72 fps。造成推理速度略微下降的原因在于改進(jìn)型網(wǎng)絡(luò)比基線網(wǎng)絡(luò)多了注意力機(jī)制模塊,該模塊中的卷積層和全連接層增加了網(wǎng)絡(luò)參數(shù)量和計(jì)算量,因此速度會(huì)有所下降。

表1 改進(jìn)方法與基線網(wǎng)絡(luò)性能對(duì)比

整體來看,改進(jìn)型網(wǎng)絡(luò)在檢測(cè)精度和推理速度兩方面相較于其他檢測(cè)網(wǎng)絡(luò)均具有較大優(yōu)勢(shì),和基線網(wǎng)絡(luò)相比在精度方面有一定提升,證明了本文改進(jìn)方法的有效性。

對(duì)于HRSC2016數(shù)據(jù)集上的L2級(jí)檢測(cè)任務(wù),改進(jìn)模型的4類目標(biāo)測(cè)試集精度-召回率曲線如圖8所示。可以看出，航母和戰(zhàn)艦的檢測(cè)效果較好,對(duì)商船的檢測(cè)效果最差。主要原因是航母和戰(zhàn)艦特征較為固定,而商船特征多樣,檢測(cè)難度相對(duì)較高,容易出現(xiàn)誤檢和漏檢情況。

圖8 4種目標(biāo)的精度-召回率曲線

為直觀地比較基線網(wǎng)絡(luò)和本文模型的檢測(cè)效果,分別抽取部分近岸和海面的測(cè)試結(jié)果。如圖9(a)和圖9(b)所示,對(duì)于岸上干擾較強(qiáng)的場(chǎng)景和潛艇目標(biāo),改進(jìn)模型的檢測(cè)效果得到了一定程度提升,對(duì)于一些小目標(biāo)也有較好的檢測(cè)性能,如原網(wǎng)絡(luò)對(duì)潛艇出現(xiàn)了漏檢和誤檢,本文方法正確識(shí)別了相應(yīng)目標(biāo)。對(duì)一些海面目標(biāo),本文方法可以進(jìn)行較準(zhǔn)確地檢測(cè)和分類,原網(wǎng)絡(luò)可能會(huì)出現(xiàn)部分漏警和誤分類,對(duì)比結(jié)果如圖9(c)和圖9(d)所示。

圖9 檢測(cè)結(jié)果對(duì)比

表2對(duì)比了本文方法和基線方法在L2級(jí)檢測(cè)任務(wù)上的效果?？梢钥闯觯倪M(jìn)模型的整體檢測(cè)性能相較于基線網(wǎng)絡(luò)提升了8%左右,尤其對(duì)于航母和潛艇目標(biāo)提升較為明顯。這是由于在近岸條件下,航母目標(biāo)的甲板紋理特征易與岸上建筑或道路混淆,其形狀和船塢相似,存在被錯(cuò)檢漏檢的情況。潛艇目標(biāo)形狀細(xì)長(zhǎng),在圖中所占比例較小,且其色調(diào)為暗黑色,容易被漏檢。本文改進(jìn)方法通過有監(jiān)督訓(xùn)練的空間注意力機(jī)制和通道注意力機(jī)制并行組合，可以起到對(duì)目標(biāo)區(qū)域聚焦的作用,加強(qiáng)網(wǎng)絡(luò)對(duì)艦船目標(biāo)的關(guān)注度,有利于對(duì)目標(biāo)細(xì)節(jié)特征的學(xué)習(xí)。BBAVectors約束損失旨在給包圍框的學(xué)習(xí)添加一個(gè)自監(jiān)督機(jī)制,和回歸損失Lb共同指導(dǎo)向量的學(xué)習(xí)過程。

表2 改進(jìn)型網(wǎng)絡(luò)與基線網(wǎng)絡(luò)性能對(duì)比

除在HRSC2016數(shù)據(jù)集進(jìn)行測(cè)試外,本文還選取了美國(guó)諾福克港口遙感圖像進(jìn)行對(duì)比檢測(cè)。圖像尺寸為5 112×6 352,本文將其裁減為608×608的子圖大小?？紤]到裁減可能會(huì)造成的目標(biāo)截?cái)?為保證目標(biāo)完整性,設(shè)置裁減的重疊大小為300,邊緣子圖以原圖為界,最終得到357張子圖。重疊區(qū)域可能會(huì)帶來同一目標(biāo)對(duì)應(yīng)多個(gè)檢測(cè)框的情況,因此需先合并子圖檢測(cè)結(jié)果,然后利用非極大抑制實(shí)現(xiàn)冗余檢測(cè)框的過濾,得到大圖檢測(cè)結(jié)果。從圖10可看出,對(duì)于近岸場(chǎng)景,改進(jìn)模型的抗干擾性具有明顯優(yōu)勢(shì)。由3個(gè)紅色放大區(qū)域?qū)Ρ瓤煽闯龌€網(wǎng)絡(luò)將岸上一些長(zhǎng)條狀建筑和房屋排列誤檢為艦船目標(biāo),而本文改進(jìn)的網(wǎng)絡(luò)模型較好避免了建筑物干擾,虛警率遠(yuǎn)低于基線網(wǎng)絡(luò)。但兩方法均存在一定程度的漏檢,由黃色放大區(qū)域可看出貼靠碼頭停放的艦船未被準(zhǔn)確識(shí)別。

圖10 諾?？烁劭跈z測(cè)結(jié)果對(duì)比

3.4 消融實(shí)驗(yàn)

為研究改進(jìn)模型各部分的貢獻(xiàn)大小,本文對(duì)有監(jiān)督的注意力模塊和BBAVectors損失進(jìn)行了消融實(shí)驗(yàn),并針對(duì)損失函數(shù)中的超參數(shù)和監(jiān)督訓(xùn)練中前景、背景權(quán)重設(shè)計(jì)了兩組實(shí)驗(yàn)來探究最佳參數(shù)組合。消融實(shí)驗(yàn)基于L2級(jí)檢測(cè)任務(wù)進(jìn)行。

3.4.1 注意力模塊

本節(jié)探究注意力模塊對(duì)網(wǎng)絡(luò)檢測(cè)性能的影響,實(shí)驗(yàn)結(jié)果如表3所示?？梢钥闯?，注意力模塊對(duì)檢測(cè)性能的提升貢獻(xiàn)為4%左右,除商船目標(biāo)外,其他3類目標(biāo)檢測(cè)結(jié)果均有不同程度提升。如第3.3節(jié)所講,這種情況是由于商船特征較為多樣化,類內(nèi)方差較大,訓(xùn)練樣本不足時(shí)加入注意力模塊會(huì)導(dǎo)致對(duì)一些細(xì)節(jié)特征過擬合而對(duì)整體類別的特征學(xué)習(xí)不足,檢測(cè)性能變差。相對(duì)來說，航母和潛艇的特征比較單一,類內(nèi)方差小于商船,因此注意力模塊有助于更好地進(jìn)行目標(biāo)特征學(xué)習(xí),提高網(wǎng)絡(luò)的檢測(cè)性能。

表3 注意力模塊對(duì)網(wǎng)絡(luò)性能影響

3.4.2 BBAVectors損失

本節(jié)將是否添加Lvec作為控制變量,通過消融實(shí)驗(yàn)探究該損失函數(shù)的性能優(yōu)劣和對(duì)檢測(cè)結(jié)果的影響。為直觀了解包圍框的學(xué)習(xí)效果,將3組BBAVectors所在方向的單位向量?jī)?nèi)積et·er、el·eb、et·eb轉(zhuǎn)換為點(diǎn)的空間坐標(biāo)表示,轉(zhuǎn)換關(guān)系如下：

(14)

式中:x、y、z為空間點(diǎn)的三維坐標(biāo)。

將測(cè)試集的檢測(cè)結(jié)果進(jìn)行坐標(biāo)轉(zhuǎn)換得到的空間點(diǎn)分布如圖11所示。

圖11 空間點(diǎn)分布

由圖11可看出,添加Lvec后的單位向量?jī)?nèi)積分布更加靠近原點(diǎn)方向,這說明學(xué)習(xí)到的BBAVectors相較于基線網(wǎng)絡(luò)有較強(qiáng)的兩兩垂直關(guān)系,包圍框更接近矩形,不規(guī)則性得到了一定程度的降低,證明了利用向量間的約束關(guān)系設(shè)計(jì)損失函數(shù)使得4個(gè)BBAVectors在自監(jiān)督模式下進(jìn)行訓(xùn)練可以有效提高包圍框的學(xué)習(xí)效果。

表4給出了Lvec對(duì)網(wǎng)絡(luò)檢測(cè)性能的影響,可以看出在L2級(jí)檢測(cè)任務(wù)上的精度提升了5.66%。其中,航母目標(biāo)提升了12.95%,潛艇目標(biāo)提升了9.62%,而戰(zhàn)艦和商船目標(biāo)的檢測(cè)結(jié)果提升不明顯,僅分別提升了0.32%和0.18%。經(jīng)過分析,本文認(rèn)為航母的斜角甲板會(huì)對(duì)BBAVectors的學(xué)習(xí)產(chǎn)生一定干擾,利用相鄰向量的幾何關(guān)系進(jìn)行約束可以較好地削弱這種影響;潛艇目標(biāo)長(zhǎng)寬比大,側(cè)邊向量學(xué)習(xí)困難,頭尾向量學(xué)習(xí)較為簡(jiǎn)單,通過頭尾向量和側(cè)邊向量的垂直關(guān)系指導(dǎo)回歸過程可以顯著提高學(xué)習(xí)效果;戰(zhàn)艦?zāi)繕?biāo)外形特征明顯,學(xué)習(xí)難度相對(duì)較低,基線網(wǎng)絡(luò)就可達(dá)到較好的效果,添加Lvec損失對(duì)檢測(cè)性能提升不大;商船目標(biāo)尺度變化范圍較大,較少的訓(xùn)練樣本無法對(duì)目標(biāo)外形進(jìn)行有效學(xué)習(xí),添加約束損失對(duì)檢測(cè)結(jié)果影響不大。

表4 Lvec損失對(duì)網(wǎng)絡(luò)性能影響

3.4.3 超參數(shù)影響

本文在模型訓(xùn)練時(shí),多任務(wù)損失中注意力損失和BBAVectors損失的協(xié)調(diào)系數(shù)系數(shù)均默認(rèn)設(shè)置為1,注意力損失中前景和背景損失權(quán)重分別默認(rèn)設(shè)置為λ1=3、λ0=1。為探究協(xié)調(diào)系數(shù)和前背景損失權(quán)重對(duì)模型的影響,本文遵循控制變量法設(shè)計(jì)了幾組不同的組合進(jìn)行檢測(cè)性能對(duì)比,實(shí)驗(yàn)結(jié)果如表5和表6所示。由表5可看出,固定λ1=3、λ0=1,當(dāng)注意力損失和向量損失的協(xié)調(diào)系數(shù)組合為1和0.5時(shí),檢測(cè)的平均精度為84.59%,相較于默認(rèn)組合weight1=1、weight2=1提升了0.04%。由表6可知,固定weight1=1、weight2=1,當(dāng)前景和背景權(quán)重為λ1=3、λ0=1時(shí)檢測(cè)性能最優(yōu),為84.55%。過低的前景權(quán)重會(huì)導(dǎo)致對(duì)目標(biāo)區(qū)域的關(guān)注度不夠;過高的前景權(quán)重會(huì)大大降低訓(xùn)練時(shí)背景噪聲所占比重,而一定程度的噪聲可以防止網(wǎng)絡(luò)對(duì)某些特征的學(xué)習(xí)產(chǎn)生過擬合,因此高前景權(quán)重會(huì)削弱降低檢測(cè)器的抗干擾性和魯棒性,導(dǎo)致檢測(cè)性能出現(xiàn)一定程度的下降。

表5 協(xié)調(diào)系數(shù)影響(λ1=3,λ0=1)

表6 注意力損失前景、背景權(quán)重影響(weight1=1,weight2=1)

4 結(jié)束語(yǔ)

針對(duì)光學(xué)遙感圖像艦船檢測(cè)任務(wù)中的背景干擾問題,本文在基于BBAVectors的單階段檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行了改進(jìn),在基線網(wǎng)絡(luò)的特征金字塔網(wǎng)絡(luò)后添加了一個(gè)有監(jiān)督的注意力機(jī)制模塊并利用標(biāo)簽文件生成的二值掩模圖實(shí)現(xiàn)模塊訓(xùn)練,旨在加強(qiáng)目標(biāo)區(qū)域特征,削弱背景噪聲影響。同時(shí)還設(shè)計(jì)了一個(gè)BBAVectors損失函數(shù),利用向量間的幾何約束關(guān)系指導(dǎo)包圍框的學(xué)習(xí)過程,抑制其不規(guī)則性。實(shí)驗(yàn)結(jié)果表明,本文改進(jìn)方法有效提升了網(wǎng)絡(luò)檢測(cè)性能,對(duì)于航母和潛艇目標(biāo)的檢測(cè)效果提升明顯。不足之處是依然存在一些虛警和漏檢,且對(duì)于商船類目標(biāo)的檢測(cè)精度還有很大提升空間,這也是下一步工作需改進(jìn)的地方。