多尺度特征融合的Anchor-Free 輕量化艦船要害部位檢測算法

李晨瑄 顧佼佼 王磊 錢坤 馮澤欽

(1. 海軍航空大學(xué) 岸防兵學(xué)院, 煙臺(tái) 264001; 2. 中國人民解放軍 91900 部隊(duì), 青島 266041)

隨著高新技術(shù)的不斷迭新,未來戰(zhàn)爭形式發(fā)生深刻變革。 高精度、全方位的海戰(zhàn)場態(tài)勢感知能力與精確制導(dǎo)、快速突防能力等,是提升裝備打擊效能、建設(shè)海洋強(qiáng)國的重要保障。 傳統(tǒng)的飛航式導(dǎo)彈打擊效果易受到目標(biāo)姿態(tài)、命中點(diǎn)位置影響,無法發(fā)揮最大作戰(zhàn)效能。 如何以最小的彈藥消耗實(shí)現(xiàn)對(duì)敵最大毀傷,具有重大研究意義。

已有的艦船目標(biāo)打擊方法多將艦船視為質(zhì)點(diǎn),導(dǎo)引頭無法檢測命中點(diǎn)。 若命中點(diǎn)非要害部位,無法有效遏制敵艦作戰(zhàn)能力。 若命中敵艦雷達(dá)、駕駛艙、天線等要害部位,可癱瘓敵艦作戰(zhàn)能力,較好地降低敵艦對(duì)我方火力威懾。 為實(shí)現(xiàn)“發(fā)現(xiàn)即打擊”的戰(zhàn)略目標(biāo),亟須提升輕型反艦導(dǎo)彈或無人武器對(duì)艦船要害部位的精確檢測能力。傳統(tǒng)利用滑窗提取區(qū)域建議框的目標(biāo)檢測算法,如SIFT、HOG[1]等,檢測特征依靠人工設(shè)定,魯棒性差,漏檢、錯(cuò)檢較多;深度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn),優(yōu)化了復(fù)雜特征的檢測算法,有效促進(jìn)了諸如艦船目標(biāo)檢測[2]等任務(wù)的工程實(shí)現(xiàn)。 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法按算法實(shí)現(xiàn)可劃分為兩階段算法與單階段算法。 兩階段[3]的檢測算法先生成目標(biāo)區(qū)域建議框,再對(duì)區(qū)域建議框?qū)崿F(xiàn)回歸與分類,文獻(xiàn)[4]基于Faster-RCNN 實(shí)現(xiàn)了合成孔徑雷達(dá)(synthetic aperture radar,SAR)圖像的艦船目標(biāo)檢測,利用特征聚合與模型遷移提高了弱小目標(biāo)檢測性能;文獻(xiàn)[5]引入編碼-解碼塊及空洞卷積,改進(jìn)了輸入層結(jié)構(gòu),利用艦船自身與環(huán)境特性,實(shí)現(xiàn)了近岸復(fù)雜背景下艦船目標(biāo)檢測。 單階段[6-7]算法不生成區(qū)域建議框,利用神經(jīng)網(wǎng)絡(luò)直接回歸目標(biāo)的類別與位置。 針對(duì)多分辨率成像條件下的艦船目標(biāo),文獻(xiàn)[8]引入了特征金字塔與Focal-Loss 提升網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)檢測的魯棒性;文獻(xiàn)[9]基于SSD 網(wǎng)絡(luò),針對(duì)噪聲影響下的小目標(biāo),融合高層與低層特征,有效利用特征圖關(guān)聯(lián)性提升檢測精度。 兩階段算法精度優(yōu)于單階段算法,但網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,用于輕型反艦導(dǎo)彈快速突防過程中的檢測任務(wù),實(shí)時(shí)性有待改進(jìn)。 單階段算法無需生成區(qū)域建議框,犧牲部分檢測精度使得速度得到提升。 上述兩階段與單階段檢測算法均為Anchor-Based 算法。

Anchor-Based 算法計(jì)算網(wǎng)絡(luò)生成的錨框與真實(shí)框之間的評(píng)價(jià)函數(shù)實(shí)現(xiàn)目標(biāo)檢測,但錨框不可避免地引入了冗余的超參數(shù)與不平衡的正負(fù)樣本。 為弱化重復(fù)堆疊的錨框?qū)z測精度的影響,Anchor-Based 算法引入非極大抑制(non-maximum suppression, NMS)。 NMS 雖提高了檢測精度,但計(jì)算量與復(fù)雜性嚴(yán)重阻礙了檢測速度的提升。Anchor-Free[10-11]算法直接利用關(guān)鍵點(diǎn)特征熱力圖進(jìn)行目標(biāo)檢測,不依賴錨框,提升檢測精度的同時(shí),加快了檢測速度,適用于反艦導(dǎo)彈突防過程中導(dǎo)引頭對(duì)艦船要害部位的快速精確檢測任務(wù)。

上述算法均可實(shí)現(xiàn)不同任務(wù)背景下的艦船目標(biāo)識(shí)別,但仍存在以下不足:①將艦船視為整體目標(biāo),難以準(zhǔn)確檢測艦船要害部位,無法為反艦導(dǎo)彈提供準(zhǔn)確的目標(biāo)指示信息;②算法對(duì)不同尺度的目標(biāo)特征利用率較低,對(duì)不同特征圖通道間的關(guān)聯(lián)性分析不足;③神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集質(zhì)量要求較高,軍艦數(shù)據(jù)獲取困難,僅訓(xùn)練少量的軍艦數(shù)據(jù),網(wǎng)絡(luò)難以學(xué)習(xí)到有效的特征表達(dá),可能導(dǎo)致無法收斂。 基于艦船要害部位特征關(guān)鍵點(diǎn)的檢測算法受艦船姿態(tài)影響較小,直接利用算法生成的特征熱力圖,回歸要害部位的類別與位置,能夠保證較高的檢測精度與實(shí)時(shí)性。

綜合考慮輕型反艦導(dǎo)彈對(duì)艦船要害部位的檢測精度與實(shí)時(shí)性要求,以及彈載設(shè)備的運(yùn)算能力,受CenterNet[12]網(wǎng)絡(luò)啟發(fā),本文提出了一種多尺度特征融合的Anchor-Free 輕量化艦船要害部位檢測算法ECAs-Hourglass。 利用感受野模塊(receptive field block,RFB),即多尺度特征融合模塊提取不同尺度感受野的特征信息,提升多尺度要害部位檢測精度;引入輕量化的高效通道注意力機(jī)制(efficient channel attention,ECA)改進(jìn)Hourglass網(wǎng)絡(luò),有效利用不同通道間的關(guān)聯(lián)性,僅增添極少運(yùn)算量,改善編碼與解碼過程造成的檢測信息損失,并結(jié)合遷移學(xué)習(xí)提升網(wǎng)絡(luò)收斂效果。 使用無人機(jī)模擬輕型反艦導(dǎo)彈低空掠海飛行時(shí),獲取到的多尺度、多角度的可見光艦船數(shù)據(jù),建立了艦船要害部位檢測數(shù)據(jù)集。 實(shí)驗(yàn)結(jié)果表明,ECAs-Hourglass 算法可在不依賴錨框的情況下,準(zhǔn)確檢測艦船要害部位,在小樣本、多尺度數(shù)據(jù)條件下,滿足導(dǎo)引頭檢測速度與精度要求,算法可擴(kuò)展性較好。

1 數(shù)據(jù)集的構(gòu)建

當(dāng)前基于艦船目標(biāo)檢測的數(shù)據(jù)集多為SAR圖像數(shù)據(jù),數(shù)據(jù)集標(biāo)注整體艦船目標(biāo),多用于實(shí)現(xiàn)艦船類型識(shí)別與位置檢測任務(wù)。 輕型反艦導(dǎo)彈或無人武器執(zhí)行敵艦精確打擊任務(wù)時(shí),多為低空掠海飛行,導(dǎo)引頭視角以正舷或側(cè)舷為主。 綜合分析反艦導(dǎo)彈突防與精確打擊任務(wù)需求,打擊雷達(dá)能夠遏制艦船對(duì)來襲目標(biāo)探測能力;打擊駕駛艙可實(shí)現(xiàn)較大毀傷效能,癱瘓敵艦指揮作戰(zhàn)能力;打擊艦船天線可阻礙信息傳輸,破壞敵方數(shù)據(jù)鏈;打擊水線能夠擊沉艦船,使其失去作戰(zhàn)能力,已有的公開標(biāo)注數(shù)據(jù)集無法實(shí)現(xiàn)艦船要害部位檢測。 結(jié)合輕型反艦導(dǎo)彈作戰(zhàn)任務(wù)需求,數(shù)據(jù)集定義艦船要害部位分別為雷達(dá)、駕駛艙、天線桅桿與水線。

使用無人機(jī)模擬輕型反艦導(dǎo)彈低空掠海飛行,拍攝不同視角、不同尺度的軍艦、海警船可見光圖像,并利用爬蟲收集公開艦船圖像,制作了艦船要害部位檢測數(shù)據(jù)集,經(jīng)翻轉(zhuǎn)、平移實(shí)現(xiàn)數(shù)據(jù)增強(qiáng),數(shù)據(jù)集信息如表1 所示,艦船要害部位檢測數(shù)據(jù)集如圖1 所示。 數(shù)據(jù)集為PASCAL VOC 格式,使用開源工具labelImg 人工標(biāo)注,文獻(xiàn)[13]指出對(duì)于具有狹長的帶狀結(jié)構(gòu)或離散分布的待檢測目標(biāo),利用卷積與池化操作提取特征時(shí),不可避免會(huì)受到無關(guān)區(qū)域信息的干擾,檢測難度較高。 前期對(duì)檢測框標(biāo)注算法進(jìn)行測試,實(shí)驗(yàn)結(jié)果表明,過于狹長的水線標(biāo)注框不利于算法提取有效特征信息。 當(dāng)導(dǎo)引頭視角為艦首或艦尾時(shí),水線特征與側(cè)舷視角時(shí)的艦船水線相似,但標(biāo)注框長寬比差異大,導(dǎo)致檢測精度難以提升。 考慮到用于特征提取的卷積核與池化內(nèi)核多為正矩形,導(dǎo)引頭獲取的艦船圖像水線多與海天線平行,結(jié)合前期標(biāo)注實(shí)驗(yàn)測試結(jié)果,改進(jìn)水線這類要害部位的標(biāo)注框。 框定接近水平且環(huán)境噪聲干擾較小的水線特征,避免使用過于狹長的矩形框標(biāo)注水線,同時(shí)避免覆蓋大面積艦船;雷達(dá)、駕駛艙、天線桅桿等艦船要害部位以框選目標(biāo)邊緣為基準(zhǔn)進(jìn)行標(biāo)注,改進(jìn)后的要害部位檢測框標(biāo)注示例如圖2 所示。 數(shù)據(jù)集標(biāo)注類別為雷達(dá)、駕駛艙、天線桅桿、水線,共包含6 402 張圖像。

圖1 數(shù)據(jù)集部分樣本Fig.1 Partial samples of dataset

圖2 艦船要害部位標(biāo)注樣例Fig.2 Labeled samples of warships’ vital parts

表1 艦船要害部位檢測數(shù)據(jù)集信息Table 1 Dataset information of warships’ vital parts

圖像像素為512 ×384,按照8∶1∶1 劃分訓(xùn)練集、測試集、驗(yàn)證集,小尺度要害部位(像素小于50)占數(shù)據(jù)集的56%,中等尺度要害部位(50 ～130 像素)占35%,大尺度要害部位(大于130 像素)占9%。 訓(xùn)練集與驗(yàn)證集中,要害目標(biāo)類別與要害部位數(shù)量關(guān)系如圖3 所示。

圖3 數(shù)據(jù)集要害目標(biāo)類別與數(shù)量Fig.3 Categories and quantities of vital parts in dataset

2 算法實(shí)現(xiàn)與優(yōu)化

2.1 算法框架與損失函數(shù)

CenterNet[12]是一種端到端的Anchor-Free 算法,兼具檢測速度與精度優(yōu)勢。 輸入圖像I∈RW×H×3,W和H分別為艦船要害部位的寬和高。 經(jīng)由檢測網(wǎng)絡(luò)運(yùn)算生成關(guān)鍵點(diǎn)熱力圖(heatmap)如下:

式中:R為下采樣率;c為要害部位類別數(shù)。

算法借助式(2)所示高斯核函數(shù)將目標(biāo)轉(zhuǎn)換成關(guān)鍵點(diǎn),通過熱力圖表征檢測要害部位信息:

式中:Yxyc為圖像真實(shí)標(biāo)簽值;?px、?py為要害部位坐標(biāo);σ為方差。

CenterNet 算法對(duì)比了3 種不同的編碼-解碼(encoder-decoder)結(jié)構(gòu),包括卷積殘差網(wǎng)絡(luò)(upconvolutional residual networks,ResNet)[14]、深層特征融合網(wǎng)絡(luò)(deep layer aggregation,DLA)[15]及沙漏網(wǎng)絡(luò)(Hourglass network)。 如圖4 所示,算法將卷積處理后生成的特征熱力圖輸入檢測模塊,檢測模塊具有3 個(gè)預(yù)測分支:目標(biāo)中心點(diǎn)預(yù)測分支用于檢測熱力圖目標(biāo)中心點(diǎn),目標(biāo)尺度預(yù)測分支用于檢測艦船要害部位的寬與高,基于中心點(diǎn)生成預(yù)測框,中心點(diǎn)偏移量預(yù)測分支用于回歸目標(biāo)中心點(diǎn)的偏移量。

卷積神經(jīng)網(wǎng)絡(luò)中的池化操作可實(shí)現(xiàn)圖像下采樣,降低網(wǎng)絡(luò)參數(shù),與不同尺度的卷積核共同作用,能夠增大卷積核的局部感受野。 卷積神經(jīng)網(wǎng)絡(luò)底層特征具有較高的空間分辨率,包含圖像局部細(xì)節(jié)信息較多,低分辨率的特征圖含有的細(xì)節(jié)信息較少,語義特征較豐富。 對(duì)于小尺度的艦船要害部位檢測而言,經(jīng)過下采樣后,要害部位目標(biāo)可能會(huì)變成一個(gè)像素甚至消失,大量的空間特征損失易導(dǎo)致小目標(biāo)的漏檢。

針對(duì)輕型反艦導(dǎo)彈突防過程中,導(dǎo)引頭對(duì)艦船要害部位檢測任務(wù)需求,綜合考慮彈載設(shè)備運(yùn)算能力,要害部位檢測算法需兼顧檢測精度與檢測速度,因此,設(shè)計(jì)了一種基于跨通道特征增強(qiáng)與多尺度感受野特征融合的Anchor-Free 輕量化艦船要害部位檢測算法ECAs-Hourglass,算法結(jié)構(gòu)如圖4 所示。 算法主要由3 部分構(gòu)成:①在預(yù)處理模塊引入RFB 融合多尺度特征參數(shù),使用多種尺度空洞率的空洞卷積提取高質(zhì)量特征,融合不同尺度感受野下艦船要害部位的特征信息,在獲取更多特征信息的同時(shí),可用于提升算法對(duì)多尺度、多角度艦船要害部位的檢測魯棒性;②利用深度可分離卷積降低運(yùn)算量與參數(shù)冗余,提升檢測速度;特征提取主干網(wǎng)絡(luò)(圖4 中ECAs-Hourglass)中,ECAs-Hourglass 算法并行地使用高效輕量化注意力機(jī)制ECA 改進(jìn)Hourglass 網(wǎng)絡(luò)中簡單的跨層連接,如圖4 中紅色虛線所示;③ECA 能夠增強(qiáng)有效特征,抑制無用特征,降低算法編碼與解碼過程造成的特征映射損失,在保證檢測速度的同時(shí),使ECAs-Hourglass 獲取到更高質(zhì)量的特征熱力圖,提升多尺度艦船要害部位的檢測精度;④檢測模塊將融合后的特征圖輸入預(yù)測分支,求解要害部位中心點(diǎn)坐標(biāo)、檢測框?qū)捀呒澳繕?biāo)中心點(diǎn)偏移量,從而實(shí)現(xiàn)艦船要害部位的精確檢測。

圖4 ECAs-Hourglass 算法結(jié)構(gòu)Fig.4 Structure of ECAs-Hourglass algorithm

依據(jù)ECAs-Hourglass 算法原理與艦船要害部位檢測任務(wù)需求,定義損失函數(shù)。

1) 目標(biāo)中心點(diǎn)預(yù)測分支。 單個(gè)要害部位中心點(diǎn)唯一,非目標(biāo)位置易產(chǎn)生較多中心點(diǎn),訓(xùn)練過程存在正負(fù)樣本分布不均衡等問題,故使用改進(jìn)的Focal-Loss 損失函數(shù),改善正負(fù)樣本分布不均。目標(biāo)中心點(diǎn)預(yù)測損失函數(shù)如下:

式中:α、β為損失函數(shù)懲罰系數(shù);N為圖像目標(biāo)中心點(diǎn)個(gè)數(shù);Yxyc為圖像真實(shí)標(biāo)簽值;Y^xyc為預(yù)測值。

2) 目標(biāo)尺度預(yù)測分支。 通過回歸熱力圖與特征圖,求得每個(gè)要害部位的寬高。 目標(biāo)尺度預(yù)測損失函數(shù)如下:

式中:S^lq為利用算法回歸得到的預(yù)測目標(biāo)尺寸;sq為目標(biāo)真實(shí)尺寸,q為求和運(yùn)算中的第q個(gè)目標(biāo)。

3) 中心點(diǎn)偏移預(yù)測分支。 特征提取模塊處理R倍下采樣后的特征圖,將所得特征圖與原圖建立映射,映射期間會(huì)產(chǎn)生像素偏移誤差,故定義目標(biāo)中心點(diǎn)偏移損失函數(shù)如下:

式中:p/R為R倍下采樣后目標(biāo)中心點(diǎn)實(shí)際坐標(biāo);?p為回歸得到中心點(diǎn)預(yù)測坐標(biāo);p/R- ?p為目標(biāo)中心點(diǎn)真實(shí)坐標(biāo)偏移量;O^?p為中心點(diǎn)預(yù)測坐標(biāo)偏移量。

3 類損失函數(shù)分別與不同權(quán)重相乘,即得到ECAs-Hourglass 算法的總體損失函數(shù)如下:

由于檢測數(shù)據(jù)類型與檢測框類型不影響預(yù)測分支懲罰系數(shù),參照原CenterNet 網(wǎng)絡(luò),分別設(shè)置目標(biāo)中心點(diǎn)預(yù)測分支邏輯回歸懲罰系數(shù)α= 2,β=4,中心點(diǎn)偏移損失權(quán)重λoff=0.1,目標(biāo)尺度預(yù)測損失權(quán)重λsize=1。

2.2 多尺度感受野特征融合

導(dǎo)引頭不斷接近艦船的過程中,待檢測要害部位的圖像分辨率隨距離發(fā)生變化,艦船要害檢測任務(wù)需適應(yīng)不同尺度、不同類別的目標(biāo)。 為增強(qiáng)算法對(duì)不同尺度艦船要害部位的檢測魯棒性,進(jìn)一步提升檢測精度,引入RFB 模塊,分別利用空洞率為1、3、5 的空洞卷積,提取不同尺度的特征信息,再利用通道疊加操作(Concat)與1 ×1 的卷積實(shí)現(xiàn)特征融合,有效利用不同感受野的特征信息,在增加較少計(jì)算量的同時(shí),增強(qiáng)對(duì)多尺度艦船要害部位的檢測性能。 RFB 多尺度特征融合模塊如圖5 所示。

圖5 多尺度特征融合模塊Fig.5 Multi-scale feature fusion module

空洞卷積能夠有效增加感受野。 常規(guī)卷積求取圖像相應(yīng)位置像素的加權(quán)和,空洞卷積在相鄰采樣點(diǎn)間增加間隔,在擴(kuò)大感受野的同時(shí),保持與常規(guī)卷積相同的計(jì)算量,適用于提取不同尺度的特征信息。 空洞卷積的卷積核計(jì)算如下:

式中:K為空洞率為rate 時(shí)的空洞卷積核尺寸;rate 為空洞率;k為原卷積核尺寸。

對(duì)于多尺度成像的艦船要害部位檢測任務(wù),距檢測要害部位目標(biāo)中心點(diǎn)越近的特征,具備的信息越重要,需要用小尺度的卷積核進(jìn)行特征提取;對(duì)于尺度較大的要害部位或距離中心點(diǎn)較遠(yuǎn)的采樣點(diǎn),所需的卷積核空洞率也越大。 RFB 卷積結(jié)構(gòu)如圖6 所示。 1 ×1 的卷積用于跨通道的信息融合;利用2 個(gè)連續(xù)的3 ×3 卷積替代5 ×5的卷積,能夠在降低計(jì)算量的同時(shí),有效提取艦船要害部位特征,增強(qiáng)小目標(biāo)的特征表達(dá);引入深度可分離卷積能夠減少網(wǎng)絡(luò)參數(shù),提升檢測效率。輸入圖像經(jīng)不同空洞率的卷積實(shí)現(xiàn)特征提取后,可得到不同尺度的特征圖,再通過Concat 與1 ×1的卷積實(shí)現(xiàn)多尺度特征融合,有效改善網(wǎng)絡(luò)對(duì)小尺度要害部位空間位移的檢測魯棒性,對(duì)不同尺度要害部位的檢測效果均有提升。

圖6 RFB 卷積結(jié)構(gòu)Fig.6 Structure of RFB

2.3 輕量化高效的注意力機(jī)制

Hourglass 網(wǎng)絡(luò)生成多分辨率特征圖的過程中,不可避免會(huì)損失部分特征信息,利用卷積處理不同感受野的特征圖,會(huì)產(chǎn)生對(duì)最終檢測結(jié)果有效的特征,同時(shí)也會(huì)產(chǎn)生大量干擾檢測效果的特征。ECAs-Hourglass 采用了單級(jí)Hourglass 作為主干網(wǎng)絡(luò)以保證檢測速度,網(wǎng)絡(luò)先利用卷積核與池化操作逐層抽取有效特征,實(shí)現(xiàn)特征降維。 在解碼階段利用學(xué)習(xí)到的特征參數(shù)獲取高分辨率特征熱力圖,而特征提取與重建操作等不可避免會(huì)導(dǎo)致特征映射過程的精度損失。 分析網(wǎng)絡(luò)結(jié)構(gòu)可知,Hourglass 具有較好的對(duì)稱性,如圖7 所示,跨層連接的左側(cè)與右側(cè)特征圖具有相同的分辨率。 若引入注意力機(jī)制改進(jìn)原Hourglass 網(wǎng)絡(luò)中簡單的跨層連接,可使算法獲取更高質(zhì)量的檢測特征圖,能夠增強(qiáng)特征映射過程中的有效特征權(quán)重,同時(shí)抑制無效特征,可用于改善特征提取與重建過程導(dǎo)致的檢測信息損失。 對(duì)比不同注意力模塊在相同的主干網(wǎng)絡(luò)(即ResNet 網(wǎng)絡(luò))下的性能,如表2所示[16],TOP-1 準(zhǔn)確率表示不同算法在ImageNet數(shù)據(jù)集測試時(shí)排名第一的類別與實(shí)際結(jié)果是否匹配的準(zhǔn)確率。

圖7 ECA 改進(jìn)的HourglassFig.7 Hourglass improved by ECA

表2 不同注意力機(jī)制性能指標(biāo)[16]Table 2 Performance indicators of different attention mechanism[16]

如表2 所示,相對(duì)于不添加注意力機(jī)制的原始網(wǎng)絡(luò),SE 模塊、CBAM 模塊、AA 模塊分別使參數(shù)增加了4.52 ×106、4.52 ×106、2.91 ×106,添加ECA 模塊后參數(shù)與運(yùn)算量幾乎不增加。 結(jié)合TOP-1 準(zhǔn)確率測試結(jié)果可知,ECA 能夠在引入極少運(yùn)算負(fù)擔(dān)的同時(shí),實(shí)現(xiàn)較高的檢測精度提升,具備輕量化特性,且運(yùn)行高效。

SE 模塊利用全局平均池化與加權(quán)因子,增強(qiáng)了通道維度上的特征表達(dá),高質(zhì)量的檢測特征有利于提升目標(biāo)檢測精度。 CBAM 利用全局最大池化與全局平均池化等,得到特征圖中每個(gè)像素點(diǎn)與顯著特征點(diǎn)的反饋,在空間與通道維度完成了特征增強(qiáng)。 ECA 利用一維卷積增強(qiáng)有效特征權(quán)重,僅引入極少參數(shù)與運(yùn)算量,相對(duì)于其他注意力模塊,檢測效果提升明顯,具有更好的輕量級(jí)應(yīng)用特性。

現(xiàn)有算法多將注意力模塊串行使用,即在大部分卷積層后串行疊加注意力機(jī)制,此舉會(huì)造成參數(shù)爆炸與龐大的計(jì)算開銷[17],考慮到艦船要害部位檢測模型需部署到彈載計(jì)算機(jī)移動(dòng)端進(jìn)行測試,ECAs-Hourglass 用 ECANet[16]并 行 地 改 進(jìn)Hourglass 網(wǎng)絡(luò)中簡單的跨通道連接,如圖7 所示。 ECA 能夠降低編碼與解碼過程造成的檢測信息損失,抑制無效特征,增強(qiáng)有效參數(shù),同時(shí)避免了串行連接時(shí)導(dǎo)致過多的參數(shù)與運(yùn)算開銷,有效利用了不同分辨率的特征信息,使算法生成更高質(zhì)量的特征圖。 ECAs-Hourglass 能夠在引入極少運(yùn)算參數(shù)的情況下,較好地提升檢測精度,有助于實(shí)現(xiàn)艦船要害部位的精確檢測。

數(shù)據(jù)集包含多尺度的艦船要害部位目標(biāo),傳統(tǒng)注意力機(jī)制多使用特征降維,往往損失了用于小尺度目標(biāo)檢測的關(guān)鍵信息;而使用全連接層所需參數(shù)量與計(jì)算量較大,無法有效利用各通道間關(guān)聯(lián)性。 ECA 先進(jìn)行特征整合,引入全局平均池化,獲取每個(gè)特征圖的重要檢測信息,輸出的特征維度為C×1 ×1,C為特征通道數(shù)。 ECA 直接利用卷積核數(shù)為k的一維卷積獲取特征信息,避免降維過程造成的信息損失,卷積核尺度k由通道參數(shù)自適應(yīng)確定,如式(8)所示,無需交叉驗(yàn)證對(duì)k手動(dòng)調(diào)優(yōu);再利用Sigmoid 激活函數(shù)輸出維度為C的新的權(quán)重參數(shù),權(quán)重參數(shù)較好反映了不同通道的重要性與相互關(guān)聯(lián)度;將新的權(quán)重參數(shù)與輸入特征圖進(jìn)行乘積運(yùn)算,重新分配不同通道特征權(quán)重,較好抑制無效特征,增強(qiáng)了有效特征的權(quán)重,與SENet[18]等注意力模塊相比,ECA 模塊更加輕量、高效。

ECA 結(jié)構(gòu)如圖8 所示。

圖8 ECA 結(jié)構(gòu)Fig.8 Structure of ECA

2.4 遷移學(xué)習(xí)

由于軍艦數(shù)據(jù)獲取困難,僅利用小樣本數(shù)據(jù)集從頭訓(xùn)練,算法無法學(xué)習(xí)到有效特征,網(wǎng)絡(luò)收斂性較差。 遷移學(xué)習(xí)[19]包括實(shí)例遷移(instancebased transfer)與參數(shù)遷移(parameter-transfer)等多種遷移學(xué)習(xí)算法。 實(shí)例遷移指將具有相似特征的數(shù)據(jù)作為正樣本輔助訓(xùn)練,經(jīng)參數(shù)微調(diào)后,可用于改善小樣本數(shù)據(jù)集的特征學(xué)習(xí)效果。 參數(shù)遷移指源域與目標(biāo)域中存在有利于提升實(shí)驗(yàn)效果的、可共享的參數(shù)或先驗(yàn)知識(shí),將這些參數(shù)作為初始值訓(xùn)練得到的目標(biāo)模型,比使用隨機(jī)初始化所得模型更有效[19]。 文獻(xiàn)[4,20]將遷移學(xué)習(xí)用于艦船目標(biāo)檢測,檢測精度均得到了不同程度的改善。基于遷移學(xué)習(xí)數(shù)據(jù)分布理論,ECAs-Hourglass 利用與軍艦具有較高相似度要害部位特征的海警船、民用船等作為輔助樣本,與軍艦一同作為正樣本訓(xùn)練。 數(shù)據(jù)集艦船樣本數(shù)量較少,無法實(shí)現(xiàn)網(wǎng)絡(luò)的重新訓(xùn)練。 為進(jìn)一步提升檢測效果,利用參數(shù)遷移算法,先凍結(jié)檢測器模塊,加載ImageNet數(shù)據(jù)集上訓(xùn)練得到的模型參數(shù),應(yīng)用于ECAs-Hourglass 算法;再利用公開的Seaships 數(shù)據(jù)集訓(xùn)練特征提取模塊與ECA 改進(jìn)后的Hourglass 特征提取主干網(wǎng)絡(luò),迭代500 次后保存模型參數(shù);最后,整體網(wǎng)絡(luò)解凍,利用所建立的艦船要害部位檢測數(shù)據(jù)集訓(xùn)練,同時(shí)微調(diào)網(wǎng)絡(luò)參數(shù),從而達(dá)到更好的收斂效果。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

為驗(yàn)證ECAs-Hourglass 算法有效性,分別使用艦船要害部位檢測數(shù)據(jù)集、公開的PASCAL VOC 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。 實(shí)驗(yàn)環(huán)境如表3 所示。

表3 實(shí)驗(yàn)環(huán)境Table 3 Experimental environment

初始輸入圖像的下采樣率為R。R取值較小可以保留更多的細(xì)粒度特征信息,但會(huì)引入較大的運(yùn)算負(fù)擔(dān);R取值較大可降低計(jì)算量,但會(huì)造成一定檢測精度損失。 為較好地平衡檢測效率與檢測精度,實(shí)驗(yàn)設(shè)置R=4。 使用Adam 優(yōu)化器迭代訓(xùn)練,輸入圖像統(tǒng)一縮放為512 ×512 分辨率。 訓(xùn)練過程學(xué)習(xí)率逐步下降,初始學(xué)習(xí)率為1. 25 ×10-4,在訓(xùn)練第50 次與第75 次下降為先前的1/10,設(shè)置初始迭代次數(shù)為160,批訓(xùn)練規(guī)模(batch size)設(shè)置為8。

3.2 評(píng)價(jià)指標(biāo)

采用每秒處理幀數(shù)(frame per second,FPS)評(píng)價(jià)檢測速度,采用平均準(zhǔn)確率的均值(mean average precision,mAP)評(píng)價(jià)算法檢測性能,mAP 能夠更全面地衡量多召回率下的算法檢測精度,計(jì)算如式(9)所示。 FPS、mAP 值越大,表征算法檢測性能越好。 交并比(intersection over union, IoU)閾值設(shè)定為0.5,即當(dāng)IoU 大于0.5時(shí),認(rèn)為檢測成功。

式中:P為準(zhǔn)確率;r為召回率。

3.3 實(shí)驗(yàn)分析

3.3.1 艦船要害部位檢測數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

用艦船要害部位檢測數(shù)據(jù)集訓(xùn)練ECAs-Hourglass 算法,待網(wǎng)絡(luò)收斂后,即得到艦船要害部位檢測模型。 為驗(yàn)證算法檢測性能,在相同實(shí)驗(yàn)平臺(tái)、相同訓(xùn)練數(shù)據(jù)下,與不同檢測網(wǎng)絡(luò)性能對(duì)比測試,測試結(jié)果如表4 所示。

表4 艦船要害部位檢測數(shù)據(jù)集測試結(jié)果Table 4 Test results of warships’ vital parts dataset

與其他目標(biāo)檢測算法對(duì)比可知,ECAs-Hourglass 算法準(zhǔn)確率為77.68%,檢測速度為28 FPS,相較于SSD、Mask R-CNN、ResNet18、CenterNet-Hourglass(simple),mAP 分別提升了5.34%、4.03%、5.17%、4.41%。 由于艦船要害部位檢測數(shù)據(jù)集是關(guān)于艦船目標(biāo)的小型數(shù)據(jù)集,與ImageNet 等通用數(shù)據(jù)集差異較大。 僅遷移原CenterNet 網(wǎng)絡(luò)參數(shù)時(shí),mAP 為71.95%,若使用2.4 節(jié)改進(jìn)后的遷移學(xué)習(xí)算法,mAP 提升了1.32%,幾乎不影響檢測速度。 從而驗(yàn)證了遷移學(xué)習(xí)有助于小樣本數(shù)據(jù)檢測效果的改善。

由于ECAs-Hourglass 算法采用了多尺度特征融合與并行的高分辨率注意力機(jī)制,可實(shí)現(xiàn)多尺度的特征提取,擴(kuò)大了特征圖感受野,充分利用了不同分辨率特征圖的有效信息,抑制了無效信息,適用于多尺度的艦船目標(biāo)要害檢測任務(wù)。 ECAs-Hourglass 算法檢測速度為28 FPS,略低于SSD 算法,這是由于ECAs-Hourglass 引入不同空洞率的空洞卷積,有效融合了多尺度檢測信息,實(shí)現(xiàn)了更有效的特征提取與特征融合,導(dǎo)致檢測速度略有下降,但檢測準(zhǔn)確率明顯提升,對(duì)不同尺度的艦船要害部位目標(biāo)檢測效果較好。

不同要害部位檢測精度如圖9 所示。 天線桅桿多為小尺度目標(biāo),分辨率低,不同艦船的天線存在差異,利用矩形框標(biāo)注的天線桅桿包含大部分背景信息,部分艦船圖像天線背景為近岸島礁,背景噪聲嚴(yán)重干擾算法提取有效特征,因此天線桅桿的檢測精度低于其他類別要害部位的檢測精度;結(jié)合圖1 與圖3 可知,不同艦船的雷達(dá)目標(biāo)特征差異性較大,不同角度拍攝的雷達(dá)要害部位圖像差異較大,且雷達(dá)圖像數(shù)量較少,神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)效果與數(shù)據(jù)質(zhì)量密切相關(guān),故雷達(dá)這類要害部位的檢測精度相對(duì)較低;水線類要害部位多為狹長條狀,較為狹長的檢測框不利于卷積核提取有效特征,檢測難度較大。 由于導(dǎo)引頭獲取的艦船圖像水線多與海天線平行,結(jié)合前期數(shù)據(jù)集標(biāo)注算法相關(guān)實(shí)驗(yàn),對(duì)標(biāo)注算法進(jìn)行改進(jìn),改進(jìn)算法參閱第1 節(jié)所述,避免使用過于狹長的矩形框標(biāo)注水線,框定接近水平且環(huán)境噪聲干擾較小的水線特征(標(biāo)注實(shí)例見圖2),在滿足導(dǎo)引頭對(duì)艦船水線這類要害部位檢測任務(wù)要求的情況下,水線的檢測效果得到改善;駕駛艙目標(biāo)尺度大,特征較為清晰,不同角度成像差異較小,故在4 類要害部位中檢測精度最高。

圖9 不同要害目標(biāo)檢測精度Fig.9 Detection accuracy of different vital targets

由圖9 可知,ECAs-Hourglass 算法對(duì)4 類要害部位檢測精度均有提升,其中駕駛艙、水線、雷達(dá)、天線桅桿要害部位檢測精度分別提升4.54%、6.71%、3. 21%、3. 18%,證明了ECAs-Hourglass算法改進(jìn)的有效性。

部分艦船數(shù)據(jù)檢測結(jié)果及熱力圖如圖10 所示。 由表4 與圖10 可知,ECAs-Hourglass 算法對(duì)不同角度、不同尺度獲取的艦船要害部位,均可較好地實(shí)現(xiàn)多尺度、多角度要害部位檢測,無需傳統(tǒng)的基于海陸分割與雜波建模等預(yù)處理,可實(shí)現(xiàn)端到端的檢測,檢測速度滿足任務(wù)需求;且檢測特征無需人工設(shè)計(jì),魯棒性較好,精度較高。

圖10 部分艦船要害部位檢測結(jié)果及熱力圖Fig.10 Detection results and heat-map of warships’ vital parts

ECAs-Hourglass 算法訓(xùn)練損失函數(shù)變化曲線如圖11 所示。 由于數(shù)據(jù)集包含多尺度艦船要害部位,訓(xùn)練初期,目標(biāo)尺度預(yù)測損失較大,迭代20輪后,由14 降低至4。 當(dāng)?shù)啍?shù)大于70 時(shí),熱力圖目標(biāo)中心點(diǎn)與目標(biāo)尺度預(yù)測損失曲線均實(shí)現(xiàn)較好收斂;當(dāng)?shù)啍?shù)大于90 時(shí),要害部位中心點(diǎn)偏移損失曲線由0.28 降低至0.22 左右,曲線趨于穩(wěn)定,總體偏移損失取值較小,檢測精度較高。 由圖11 可知,隨迭代輪數(shù)的增加,損失函數(shù)變化曲線逐漸降低,訓(xùn)練結(jié)果趨于穩(wěn)定,算法可達(dá)到較好的收斂效果。

圖11 損失函數(shù)曲線Fig.11 Curves of loss function

為進(jìn)一步測試ECAs-Hourglass 算法的魯棒性,重新劃分艦船要害部位檢測數(shù)據(jù)中訓(xùn)練集與測試集比例,分別設(shè)置為7 ∶2、6 ∶3,計(jì)算mAP 如表5所示。 可知,3 種劃分比例下的算法mAP 均可達(dá)75%以上,說明ECAs-Hourglass 算法適應(yīng)性較好,檢測結(jié)果較準(zhǔn)確。

表5 不同比例訓(xùn)練集與測試集測試結(jié)果Table 5 Test results with different ratio of training set and validation set

3.3.2 參數(shù)與運(yùn)算量對(duì)比分析

綜合考慮彈載設(shè)備運(yùn)算能力及其對(duì)艦船要害部位檢測的實(shí)時(shí)性要求,算法需兼具檢測速度與檢測精度,對(duì)ECAs-Hourglass 與不同網(wǎng)絡(luò)的參數(shù)與運(yùn)算量,即浮點(diǎn)運(yùn)算次數(shù)(floating point of operations,FLOPs)進(jìn)行對(duì)比分析,參數(shù)與運(yùn)算量如表6所示,表6 所示為整體檢測網(wǎng)絡(luò)所需參數(shù)與總體運(yùn)算量,包括數(shù)據(jù)輸入、主干特征提取與檢測器輸出等。 表中:“*”表示原CenterNet 模型特征預(yù)處理算法,即利用核數(shù)為7、步長為2 的二維卷積,以及步長為2 的殘差塊實(shí)現(xiàn)輸入圖像的預(yù)處理,由于艦船要害部位檢測數(shù)據(jù)集中,不足50 像素的小尺度要害部位目標(biāo)較多,原特征處理方式易損失較多信息,不利于提升檢測精度;“**”表示利用核數(shù)為5、步長為1 的深度可分離卷積與步長為2 的殘差塊對(duì)輸入圖像預(yù)處理,利用深度可分離卷積改進(jìn)圖像預(yù)處理模塊,能夠在降低算法參數(shù)的同時(shí),較好地保留利于小尺度艦船要害部位檢測的底層特征,有助于提升檢測精度與檢測速度。

由表6 可知,雙級(jí)Hourglass 參數(shù)量顯著高于單級(jí)Hourglass 網(wǎng)絡(luò),無法滿足彈載嵌入式設(shè)備硬件要求,因此,選取單級(jí)Hourglass 作為主干特征提取網(wǎng)絡(luò)。 深度可分離卷積[21]改進(jìn)了二維卷積,能夠在保證檢測精度的同時(shí),大幅度降低網(wǎng)絡(luò)計(jì)算參數(shù)。 利用深度可分離卷積改進(jìn)初始特征層中的核數(shù)為7 的普通卷積,能夠在不增加運(yùn)算參數(shù)的同時(shí),保留較多特征信息;空洞卷積利用不同空洞率的卷積核提取特征,在不增加額外運(yùn)算量的同時(shí),有效利用多尺度感受野,獲取更多的檢測信息,RFB 模塊能夠較好融合不同尺度的特征信息,適用于艦船要害部位等多尺度檢測任務(wù);ECA模塊添加在主干網(wǎng)絡(luò)中,導(dǎo)致算法增加了較多的參數(shù)量,檢測精度提升幅度較低;ECAs-Hourglass算法利用ECA 并行的改進(jìn)原Hourglass 結(jié)構(gòu)中的跨層連接(見圖8),提升更多檢測精度的同時(shí)引入的參數(shù)與運(yùn)算量更少。 改進(jìn)后的ECAs-Hourglass 算法能夠充分利用不同通道間的關(guān)聯(lián)性,降低了下采樣造成的特征損失,在保證檢測速度的同時(shí),有助于提升檢測精度,模型參數(shù)更少,硬件負(fù)擔(dān)更低。

表6 網(wǎng)絡(luò)模型參數(shù)與運(yùn)算量Table 6 Parameters and operands of models

綜上,利用深度可分離卷積替換原始二維卷積能夠降低算法參數(shù)規(guī)模與運(yùn)算量,利用ECA 注意力機(jī)制并行改進(jìn)原Hourglass 結(jié)構(gòu)中的跨層連接,與現(xiàn)有串行使用注意力機(jī)制的算法相比,算法總參數(shù)更低,同時(shí)利于改善算法編碼-解碼過程造成的特征損失;ECAs-Hourglass 算法在參數(shù)量、總體運(yùn)算量上,具有較好的輕量化算法特性。 利用艦船要害部位檢測數(shù)據(jù)集測試,檢測速度為28 FPS,mAP 為77.68%,滿足輕型反艦導(dǎo)彈彈載嵌入式設(shè)備的檢測效果與應(yīng)用要求。

3.3.3 消融實(shí)驗(yàn)設(shè)計(jì)

設(shè)計(jì)消融實(shí)驗(yàn),進(jìn)一步評(píng)估不同模塊對(duì)檢測結(jié)果的影響,利用公開的PASCAL VOC 數(shù)據(jù)集測試算法性能,實(shí)驗(yàn)參數(shù)同3.1 節(jié),對(duì)比測試與消融實(shí)驗(yàn)結(jié)果如表7 所示。

由表7 可知, 在相同實(shí)驗(yàn)環(huán)境下, 利用VOC2007 + 2012 數(shù)據(jù)集測試,ECAs-Hourglass 算法mAP 可達(dá)66.63%,檢測速度為29 FPS。 相較于SPP-Net、YOLO 與單級(jí)Hourglass 網(wǎng)絡(luò),mAP 分別提升了7.13%、0.84%、5.57%。 Mask R-CNN網(wǎng)絡(luò)檢測精度較高,但檢測速度僅為15 FPS,無法滿足檢測速度要求。 由于ECAs-Hourglass 引入RFB 融合了多尺度特征,添加了高效注意力機(jī)制ECA,算法復(fù)雜度提升,檢測速度略有下降,由33 FPS降低至29 FPS,但仍可滿足實(shí)時(shí)性要求。

表7 對(duì)比測試與消融實(shí)驗(yàn)Table 7 Comparison test and ablation experiment

單級(jí)Hourglass 網(wǎng)絡(luò)引入RFB 后,mAP 提升了4.12%,檢測速度由33 FPS 下降至25 FPS。 RFB提取并融合了不同尺度感受野的特征信息,提升了檢測精度,對(duì)多尺度目標(biāo)檢測性能較好,但損耗了一定的檢測速度;ECA 模塊植入主干網(wǎng)絡(luò)中,mAP 僅提升了2.25%,檢測速度下降為23 FPS,將ECA 并行置于Hourglass 不同特征圖的跨層連接部位,mAP 由61.06% 提升到63.99%,檢測速度為30 FPS,說明利用ECA 并行的改進(jìn)Hourglass網(wǎng)絡(luò)跨層連接,相對(duì)于串行疊加注意力等方式,檢測精度提升幅度更大,引入的運(yùn)算量更少。 進(jìn)一步說明,并行添加ECA 模塊后,使得算法能夠充分利用不同通道的關(guān)聯(lián)性,在增強(qiáng)有用特征的同時(shí),有效抑制無用特征,有助于檢測準(zhǔn)確率的提高。

對(duì)比ECAs-Hourglass 算法與原始SSD 算法檢測效果,如圖12 所示。 與原始SSD 算法相比,ECAs-Hourglass 算法對(duì)不同艦船要害部位檢測精度均有提升,由圖12 第3 行2 幅圖可知,SSD 算法存在部分漏檢現(xiàn)象,ECAs-Hourglass 算法可準(zhǔn)確檢測出遠(yuǎn)距離的艦船要害部位;ECAs-Hourglass算法生成的檢測框可準(zhǔn)確框選出要害部位,比SSD 算法生成預(yù)測框更準(zhǔn)確。 由表4 與圖12 可知,ECAs-Hourglass 算法對(duì)艦船要害部位檢測效果更好,更適用于輕型反艦導(dǎo)彈對(duì)艦船要害部位的精確檢測任務(wù)。

圖12 原始SSD 算法與ECAs-Hourglass 算法對(duì)比Fig.12 Comparison of original SSD and ECAs-Hourglass algorithms

消融實(shí)驗(yàn)中,tensorboardX 記錄的不同模塊改進(jìn)后的算法損失函數(shù)變化曲線如圖13 所示。 圖中:原始CenterNet 網(wǎng)絡(luò)為單級(jí)Hourglass 結(jié)構(gòu)。

綜合以上策略,ECAs-Hourglass 算法將艦船要害部位檢測mAP 提升到77. 68%,提升了4.41%,檢測速度可達(dá)28 FPS。 與使用單級(jí)Hourglass 結(jié)構(gòu)的原CenterNet 算法相比,在PASCAL VOC 數(shù)據(jù)集上測試ECAs-Hourglass 算法,mAP 提升了5.57%,檢測速度為29 FPS。 由表6與表7 可知,ECAs-Hourglass 算法可在損耗較少檢測速度的同時(shí),有效提升檢測精度,算法參數(shù)與運(yùn)算量較低,滿足彈載設(shè)備配置要求,可實(shí)現(xiàn)艦船要害部位的精確檢測。

4 結(jié) 論

反艦導(dǎo)彈打擊艦船要害部位能夠以最少的彈藥消耗,實(shí)現(xiàn)對(duì)敵最大毀傷。 針對(duì)現(xiàn)有算法無法準(zhǔn)確檢測艦船要害部位、檢測模型參數(shù)冗余等問題,構(gòu)建了艦船要害部位檢測數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),提出了一種多尺度特征融合的Anchor-Free 輕量化艦船要害部位檢測算法。

1) 引入多尺度特征融合、高效輕量化注意力機(jī)制改進(jìn)Hourglass 網(wǎng)絡(luò),在艦船要害部位檢測數(shù)據(jù)集上測試,mAP 為77.68%,速度為28 FPS,相比SSD、Mask R-CNN、CenterNet-Res18,mAP 分別提升了5.34%、4.03%、5.17%。

2) RFB 利用空洞卷積融合多尺度特征,僅增加較少運(yùn)算量,有效增強(qiáng)了多尺度艦船要害部位檢測精度,mAP 提升了4.12%;特征降維易損失檢測精度,利用ECA 改進(jìn)Hourglass 中的跨層連接,mAP 提升了2.93%,模型總參數(shù)量更少,滿足彈載設(shè)備配置要求。

如何進(jìn)一步提升算法在復(fù)雜海岸背景下的檢測精度是后續(xù)工作的重點(diǎn)研究方向。