基于深淺層特征融合的艦船要害關(guān)鍵點(diǎn)檢測(cè)算法

李晨瑄, 錢 坤, 胥輝旗

(海軍航空大學(xué)岸防兵學(xué)院, 山東 煙臺(tái) 264001)

0 引 言

現(xiàn)代海戰(zhàn)中,高精度、全方位的態(tài)勢(shì)感知能力是精確制導(dǎo)武器的關(guān)鍵技術(shù)之一。反艦導(dǎo)彈導(dǎo)引頭對(duì)艦船要害部位的精確檢測(cè)能力、引信與戰(zhàn)斗部的精確打擊能力,是提升裝備作戰(zhàn)效能、建設(shè)海洋強(qiáng)國(guó)的重要保障。

反艦導(dǎo)彈毀傷效果受艦船姿態(tài)、命中點(diǎn)影響較大,傳統(tǒng)的導(dǎo)引策略無(wú)法應(yīng)對(duì)瞬息萬(wàn)變的戰(zhàn)場(chǎng)態(tài)勢(shì)。末制導(dǎo)段,導(dǎo)引頭捕獲的艦船目標(biāo)輪廓細(xì)節(jié)逐漸放大,傳統(tǒng)基于角點(diǎn)[1]的檢測(cè)與跟蹤方法對(duì)特征利用不充分,易出現(xiàn)跟蹤目標(biāo)漂移,檢測(cè)準(zhǔn)確度不足;不同的攻擊進(jìn)入角條件下,導(dǎo)引頭探測(cè)到的艦船投影一致性、規(guī)律性差,艦船要害部位易發(fā)生大尺度變化,基于局部特征提取、融合的檢測(cè)方法魯棒性不足;多角度、多尺度要害部位檢測(cè)精度有待提升。因此,亟需研究魯棒性較強(qiáng)的艦船要害部位精確檢測(cè)算法,在實(shí)現(xiàn)艦船要害部位關(guān)鍵點(diǎn)檢測(cè)的同時(shí),配合引戰(zhàn)控制導(dǎo)彈命中姿態(tài)與戰(zhàn)斗部爆炸方向,可有效增強(qiáng)反艦導(dǎo)彈打擊效能。

深度學(xué)習(xí)以類人腦的分層機(jī)構(gòu)模型為基礎(chǔ),利用卷積神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中抽取有效特征,并進(jìn)行整合與學(xué)習(xí),有效促進(jìn)了艦船目標(biāo)檢測(cè)[2-3]等任務(wù)的工程實(shí)現(xiàn)。文獻(xiàn)[4]基于分割算法,有效利用圖像中的連通區(qū)域,提取方向梯度直方圖(histogram of oriented gridients，HOG)特征訓(xùn)練分類器,實(shí)現(xiàn)了艦船目標(biāo)的離線分類與在線檢測(cè);文獻(xiàn)[5]將Faster R-CNN算法與恒虛警率相結(jié)合,以算法生成的對(duì)象建議作為保護(hù)窗口,獲取小尺寸目標(biāo)后,重新評(píng)估得分相對(duì)較低的預(yù)測(cè)框,改善了復(fù)雜背景下的艦船目標(biāo)檢測(cè)效果;文獻(xiàn)[6]將注意力機(jī)制引入RetinaNet[7],利用Focal Loss改善樣本不均衡等問題,在多分辨率成像的艦船檢測(cè)實(shí)驗(yàn)中,均達(dá)到了較高的檢測(cè)精度;文獻(xiàn)[8]將串行修正線性單元添加到SSD[9]的淺層網(wǎng)絡(luò),提升特征傳遞效率,采用特征金字塔網(wǎng)絡(luò)逐級(jí)融合不同層次的多尺度特征圖,提升了艦船目標(biāo)的定位與分類精度;文獻(xiàn)[10]基于SSD網(wǎng)絡(luò)融合高層與低層特征,利用特征圖關(guān)聯(lián)性提升噪聲影響下的小目標(biāo)檢測(cè)準(zhǔn)確性。以上算法均可實(shí)現(xiàn)不同任務(wù)下的艦船目標(biāo)識(shí)別,但仍存在一定不足:一是無(wú)法實(shí)現(xiàn)艦船要害部位的精確檢測(cè),預(yù)測(cè)框到艦船要害關(guān)鍵點(diǎn)信息的轉(zhuǎn)化耗時(shí)長(zhǎng),特征映射導(dǎo)致檢測(cè)坐標(biāo)漂移誤差較大;二是提取目標(biāo)特征時(shí),對(duì)于艦船要害尺度、形態(tài)差異大等問題,已有算法尚未制定針對(duì)性的解決方案;三是算法參數(shù)與模型規(guī)模冗余,無(wú)法滿足彈載設(shè)備對(duì)檢測(cè)模型的輕量化要求。

基于關(guān)鍵點(diǎn)的人體姿態(tài)估計(jì)[11]算法通過給定圖像,確定圖像中人體各部位位置,推斷行為與動(dòng)作。自頂向下的姿態(tài)估計(jì)方法首先檢測(cè)出圖像內(nèi)所有目標(biāo),再分析目標(biāo)框內(nèi)特征信息輸出姿態(tài)關(guān)鍵點(diǎn),精度較高但實(shí)時(shí)性有待提升,易受到目標(biāo)檢測(cè)效果制約,主流自頂向下的檢測(cè)方法有G-RMI[12]、Mask R-CNN[13]及Simple Baselines[14]。自底向上的方法首先檢測(cè)圖像中所有關(guān)鍵點(diǎn),再利用關(guān)聯(lián)與分組思想實(shí)現(xiàn)關(guān)鍵點(diǎn)聚類,精度略低于自頂向下算法,但時(shí)效性較好,自底向上的檢測(cè)算法如PAFs[15]、DeepCut[16]及Associate Embedding[17]等。

綜合分析精確制導(dǎo)反艦導(dǎo)彈作戰(zhàn)需求,受關(guān)鍵點(diǎn)檢測(cè)算法[18]啟發(fā),提出了一種端到端的艦船要害關(guān)鍵點(diǎn)檢測(cè)算法,無(wú)需繁重的預(yù)測(cè)框后處理,利用熱力圖回歸關(guān)鍵點(diǎn)特征,直接檢測(cè)艦船要害點(diǎn)?？芍苯庸┙o彈載計(jì)算機(jī)解算當(dāng)前命中點(diǎn)與任務(wù)打擊點(diǎn)的導(dǎo)引誤差,為精確制導(dǎo)武器的設(shè)計(jì)與改進(jìn)提供了新思路。

本文主要研究了反艦導(dǎo)彈末制導(dǎo)段,導(dǎo)引頭對(duì)艦船要害關(guān)鍵點(diǎn)的精確檢測(cè)問題,旨在提升反艦導(dǎo)彈對(duì)敵艦毀傷概率,以最小的彈藥消耗,實(shí)現(xiàn)最大毀傷效能。構(gòu)建了艦船要害部位關(guān)鍵點(diǎn)檢測(cè)數(shù)據(jù)集,針對(duì)傳統(tǒng)算法對(duì)特征質(zhì)量要求高、受噪聲影響大等問題,提出了基于深度學(xué)習(xí)的艦船要害關(guān)鍵點(diǎn)檢測(cè)算法,設(shè)計(jì)了針對(duì)性的優(yōu)化方案。對(duì)用于抽取特征的殘差模塊進(jìn)行輕量化改進(jìn),利用高效通道注意力(efficient channel attention,ECA)機(jī)制增強(qiáng)有效特征,抑制無(wú)效特征,提高精度的同時(shí),有效降低參數(shù)冗余;針對(duì)艦船要害部位檢測(cè)數(shù)據(jù)尺度、角度變化劇烈等問題,增加多種不同尺度的感受野模塊(receptive field block，RFB)融合多尺度特征,改善算法對(duì)多尺度特征圖的回歸精度。實(shí)驗(yàn)表明,算法可實(shí)現(xiàn)多角度、多尺度成像下艦船要害關(guān)鍵點(diǎn)檢測(cè),魯棒性較好,并能夠有效降低參數(shù)冗余,兼具檢測(cè)精度與速度優(yōu)勢(shì)。

1 基于關(guān)鍵點(diǎn)網(wǎng)絡(luò)的艦船要害部位檢測(cè)

1.1 算法框架

針對(duì)艦船要害關(guān)鍵點(diǎn)檢測(cè)任務(wù),綜合分析彈載設(shè)備運(yùn)算能力,提出了深淺層特征融合的艦船要害關(guān)鍵點(diǎn)檢測(cè)算法Warkp-DLA。深度卷積神經(jīng)網(wǎng)絡(luò)淺層特征語(yǔ)義信息少,定位信息豐富;深層特征語(yǔ)義信息豐富,對(duì)熱力圖中心點(diǎn)回歸效果好,但定位信息粗略,深淺層特征融合算法設(shè)計(jì)遵循的主要原則是在主干網(wǎng)絡(luò)中降低信息損失,充分融合深層語(yǔ)義信息與淺層定位信息,有效利用細(xì)粒度多尺度特征圖,提升檢測(cè)精度。Warkp-DLA算法主要結(jié)構(gòu)如圖1所示。

Warkp-DLA算法使用DLA網(wǎng)絡(luò)作為基礎(chǔ)編碼-解碼結(jié)構(gòu),如圖1所示。在編碼階段,使用卷積與池化縮減特征空間維度,在解碼階段,利用反卷積及特征聚合恢復(fù)目標(biāo)細(xì)節(jié)。艦船要害關(guān)鍵點(diǎn)檢測(cè)效果對(duì)解碼后生成的特征熱力圖要求較高,為更好實(shí)現(xiàn)多尺度、多角度以及目標(biāo)不完整時(shí)的艦船要害關(guān)鍵點(diǎn)檢測(cè),利用RFB融合多尺度特征,提升檢測(cè)魯棒性;部分艦船要害關(guān)鍵點(diǎn)特征相似性高,最大值池化易損失小尺度關(guān)鍵檢測(cè)信息,利用SoftPool可保留細(xì)粒度特征,改善小尺度目標(biāo)漏檢現(xiàn)象;利用深度可分離卷積與ECA改進(jìn)殘差結(jié)構(gòu),在保證檢測(cè)精度的同時(shí)精簡(jiǎn)算法參數(shù);采用在線難例挖掘改善樣本不均衡,并使用梯度累加提升訓(xùn)練效率與收斂效果。最后將生成的特征圖輸入檢測(cè)結(jié)構(gòu),獲取要害關(guān)鍵點(diǎn)與目標(biāo)中心點(diǎn)坐標(biāo)、相應(yīng)偏移量以及預(yù)測(cè)框尺度,實(shí)現(xiàn)艦船要害關(guān)鍵點(diǎn)精確檢測(cè)。

圖1 Warkp-DLA算法結(jié)構(gòu)圖

1.2 多尺度感受野特征融合

不同的攻擊進(jìn)入角下,導(dǎo)引頭探測(cè)到的艦船投影一致性差,艦船要害部位易發(fā)生大尺度變化,單一尺度的卷積核無(wú)法適應(yīng)變化劇烈的圖像數(shù)據(jù),為增強(qiáng)對(duì)多尺度要害部位的檢測(cè)敏感度,在高分辨率特征圖中引入RFB多尺度特征融合模塊,分別利用空洞率為1、3、5的空洞卷積,提取不同感受野的細(xì)粒度特征,再利用通道疊加操作與1×1的卷積核實(shí)現(xiàn)特征融合。RFB能夠較好融合不同感受野的特征信息,僅增加極少計(jì)算量,使算法具備多尺度的特征表達(dá)能力,RFB模塊原理如圖2所示。

圖2 多尺度特征融合模塊

常規(guī)卷積求取圖像相應(yīng)位置像素的加權(quán)和,空洞卷積在相鄰采樣點(diǎn)間增加間隔,擴(kuò)大感受野的同時(shí),保持與常規(guī)卷積相同的計(jì)算量,適用于提取多尺度的特征信息?？斩淳矸e的卷積核計(jì)算如下:

K=(rate-1)(k-1)+k

(1)

式中:K為空洞卷積的卷積核尺度;rate為空洞率,k為常規(guī)卷積核尺度。

距要害關(guān)鍵點(diǎn)越近的特征,蘊(yùn)含的信息越具有區(qū)分性,應(yīng)使用小尺度的卷積核;大尺度要害部位、距關(guān)鍵點(diǎn)較遠(yuǎn)的采樣點(diǎn),則需用空洞率較大的卷積核。RFB卷積結(jié)構(gòu)如圖3所示,兩個(gè)連續(xù)的3×3卷積替代5×5的卷積,可降低參數(shù)并增強(qiáng)小目標(biāo)的特征表達(dá);1×1的卷積核用于跨通道的特征融合;深度可分離卷積可減少算法參數(shù)。RFB融合多尺度感受野特征,使特征圖獲取更精確的語(yǔ)義與定位信息,有效增強(qiáng)尺度、角度劇烈變化時(shí)的艦船關(guān)鍵點(diǎn)檢測(cè)魯棒性。

圖3 RFB結(jié)構(gòu)

1.3 SoftPool

池化操作可用于特征降維,緩解過擬合風(fēng)險(xiǎn),降低卷積層對(duì)檢測(cè)信息的過度敏感性。最大值池化保留池化內(nèi)核中的局部最大值,用于突出特征圖中響應(yīng)較為強(qiáng)烈的部分。對(duì)于像素特征差異小的要害關(guān)鍵點(diǎn),利用最大值池化進(jìn)行特征映射,易損失重要檢測(cè)信息,映射過程中的信息混疊致使目標(biāo)誤檢。高質(zhì)量的特征信息可提升相似關(guān)鍵部位的檢測(cè)敏感度,因此用SoftPool[23]改進(jìn)最大值池化,保留更多細(xì)粒度特征信息。SoftPool以指數(shù)為基礎(chǔ),結(jié)合softmax的加權(quán)方法,能夠保留特征圖的重要屬性,增強(qiáng)更大強(qiáng)度的特征激活。在池化內(nèi)核中,SoftPool為每一個(gè)激活因子ai分配一個(gè)權(quán)重wi,權(quán)重wi與激活值ai一同完成非線性變換如下:

(2)

與最大值池化不同,SoftPool是一種可微的池化方式。每一次反向傳播的梯度均可得到更新,SoftPool可綜合利用池化內(nèi)核所有的激活因子,僅增加極少內(nèi)存占用,保留特征圖的細(xì)粒度信息。SoftPool前向與反向傳播過程如圖4所示。SoftPool替代最大值池化,有利于算法獲取細(xì)粒度的特征劃分,增大相近特征信息區(qū)分度的同時(shí),保留了全局感受野的特征信息,可顯著提升艦船要害關(guān)鍵點(diǎn)的檢測(cè)精度。

圖4 SoftPool處理

1.4 殘差結(jié)構(gòu)的輕量化改進(jìn)

增加卷積神經(jīng)網(wǎng)絡(luò)的寬度與深度,能夠提升算法特征提取能力,然而層數(shù)的加深容易導(dǎo)致反向傳播中的梯度彌散、梯度爆炸等問題,妨礙淺層網(wǎng)絡(luò)收斂。殘差網(wǎng)絡(luò)緩解了網(wǎng)絡(luò)加深引起的性能退化問題。為削減算法參數(shù)、降低模型規(guī)模,Warkp-DLA算法利用深度可分離卷積改進(jìn)基本殘差塊。深度可分離卷積將常規(guī)卷積分解成兩部分,先后在空間與通道上實(shí)現(xiàn)卷積映射,可降低算法參數(shù)。設(shè)輸入特征圖尺寸為DF×DF×M1,輸出特征圖尺寸為DF×DF×M2,卷積核尺寸為DK×DK×M1,標(biāo)準(zhǔn)卷積參數(shù)量為(DF×DF×M1)×M2,深度可分離卷積[24]與標(biāo)準(zhǔn)卷積參數(shù)量比值如下所示：

(3)

由于數(shù)據(jù)集包含多角度艦船目標(biāo),部分關(guān)鍵點(diǎn)較集中,特征差異小,經(jīng)實(shí)驗(yàn)測(cè)試,利用深度可分離卷積替換所有卷積核,引入了一定檢測(cè)誤差,因此僅替換第一層卷積,并引入ECA模塊實(shí)現(xiàn)空間注意力聚合,增強(qiáng)有效特征表達(dá),抑制無(wú)效特征,1×1卷積用于實(shí)現(xiàn)跨通道信息整合。改進(jìn)后的殘差模塊為L(zhǎng)iblock,如圖5所示,能夠增強(qiáng)算法對(duì)細(xì)粒度特征的學(xué)習(xí)能力,有效融合深層語(yǔ)義信息與淺層定位信息,在降低運(yùn)算成本的同時(shí),提升檢測(cè)效果,利于導(dǎo)引頭的移動(dòng)端部署。

圖5 改進(jìn)后的Liblock

1.5 輕量級(jí)的高效注意力機(jī)制

Warkp-DLA算法生成多分辨率特征圖的過程中,會(huì)產(chǎn)生對(duì)最終檢測(cè)結(jié)果有效的特征,與大量干擾檢測(cè)效果的特征。采用ECA[25]能夠抑制無(wú)效特征,增強(qiáng)有效參數(shù)。ECA首先進(jìn)行特征整合,利用全局平均池化獲取每個(gè)特征圖的重要信息,輸出的特征維度為C×1×1,C為特征通道數(shù)。降維過程易損失較多特征信息,ECA直接利用卷積核為k的一維卷積處理特征圖,如下所示:

(4)

式中:C為特征通道數(shù)；|*|odd表示最鄰近奇數(shù)；γ=2；b=1。k由通道數(shù)自適應(yīng)確定,無(wú)需交叉驗(yàn)證;確定k后，ECA再利用Sigmoid激活函數(shù)輸出反應(yīng)了不同通道的重要性與相互關(guān)聯(lián)度的權(quán)重參數(shù);最后,將新的權(quán)重參數(shù)與輸入特征圖進(jìn)行乘積運(yùn)算,重新分配不同通道特征權(quán)重,抑制無(wú)效特征,增強(qiáng)了有效特征的權(quán)重。

ECA模塊結(jié)構(gòu)如圖6所示。

圖6 ECA結(jié)構(gòu)

1.6 在線難例挖掘與梯度累加

在線難例挖掘:在線難例挖掘(online hard example mining,OHEM[26])可用于解決數(shù)據(jù)難易樣本不均衡等問題。OHEM分析每個(gè)樣本當(dāng)前損失,將樣本按照置信度誤差降序排列,選取誤差較大的作為訓(xùn)練負(fù)樣本重新訓(xùn)練。

在難易樣本比例適中的數(shù)據(jù)中,加入OHEM易強(qiáng)制性去除部分有利于訓(xùn)練的樣本,影響損失函數(shù)的計(jì)算。受船體外部涂層影響,部分圖像不同關(guān)鍵點(diǎn)區(qū)分度低;不同角度拍攝的艦船,相同關(guān)鍵點(diǎn)特征差異性大。此外,艦船圖像占比小,同樣導(dǎo)致了難易樣本不均衡,損失函數(shù)與訓(xùn)練效果部分退化。為提升算法精度,由OHEM與數(shù)據(jù)增強(qiáng)思想啟發(fā),設(shè)置負(fù)檢測(cè)樣本池,在訓(xùn)練30輪后,將每批訓(xùn)練量中檢測(cè)準(zhǔn)確率小于0.5的訓(xùn)練樣本置于負(fù)檢測(cè)樣本池,累積64個(gè)負(fù)樣本后,將其重新送入網(wǎng)絡(luò)訓(xùn)練,改善算法對(duì)困難樣本的特征學(xué)習(xí)能力。

梯度累加:Warkp-DLA算法融合深層與淺層特征,深度學(xué)習(xí)的訓(xùn)練效果與GPU顯存以及訓(xùn)練批處理規(guī)模密切相關(guān)。較大的處理規(guī)模利于算法收斂。同時(shí)計(jì)算多個(gè)損失函數(shù)時(shí),計(jì)算機(jī)需存儲(chǔ)多個(gè)計(jì)算圖,硬件內(nèi)存要求高。利用梯度累加,能夠在保存較少計(jì)算圖的同時(shí),實(shí)現(xiàn)多任務(wù)訓(xùn)練,有效擴(kuò)充顯存,使Warkp-DLA算法具備更好的收斂能力。

2 艦船要害關(guān)鍵點(diǎn)檢測(cè)數(shù)據(jù)

末端命中點(diǎn)打擊階段,輕型反艦導(dǎo)彈多以超低空掠海姿態(tài)飛行。執(zhí)行對(duì)敵艦精確打擊任務(wù)時(shí),導(dǎo)引頭視角以側(cè)舷為主。當(dāng)前用于艦船目標(biāo)檢測(cè)數(shù)據(jù)多為點(diǎn)狀合成孔徑雷達(dá)(synthetic aperture radar,SAR)[27]圖像,SAR艦船數(shù)據(jù)多為俯視。紅外熱像儀獲取的灰度圖具備艦船輪廓信息、艦船蒙皮灰度值相近、近距導(dǎo)致灰度值飽和等,造成艦船紋理信息缺失,不適用于艦船要害部位關(guān)鍵點(diǎn)檢測(cè)任務(wù);此外,由于拍攝角度受限,獲取艦船多角度圖像較為困難。

實(shí)際戰(zhàn)場(chǎng)環(huán)境采拍方法具有較大時(shí)間、空間上的局限性,文獻(xiàn)[28]論證了利用相似數(shù)據(jù)作為正樣本擴(kuò)充軍艦數(shù)據(jù)集,經(jīng)遷移學(xué)習(xí)[29]與算法訓(xùn)練[3]后,可輔助實(shí)現(xiàn)軍艦的準(zhǔn)確檢測(cè)。實(shí)驗(yàn)室利用高仿真度艦船模型實(shí)現(xiàn)海戰(zhàn)場(chǎng)戰(zhàn)法推演與模擬,結(jié)合任務(wù)需求,利用導(dǎo)引頭同型攝像設(shè)備獲取多尺度、多視角艦船目標(biāo)圖像，如圖7所示。

圖7 數(shù)據(jù)集部分樣本

綜合分析反艦導(dǎo)彈突防與精確打擊任務(wù)需求,標(biāo)注艦船要害部位關(guān)鍵點(diǎn)及可見性信息,建立艦船要害部位關(guān)鍵點(diǎn)檢測(cè)數(shù)據(jù)集。數(shù)據(jù)囊括多尺度、多角度艦船圖像。打擊雷達(dá)能夠遏制艦船對(duì)來(lái)襲目標(biāo)探測(cè)能力;打擊駕駛艙可實(shí)現(xiàn)較大毀傷效能,癱瘓敵艦指揮作戰(zhàn)能力;打擊天線可阻礙信息傳輸,破壞敵方數(shù)據(jù)鏈;打擊水線能夠擊沉艦船,使其失去作戰(zhàn)能力。故以炮臺(tái)、天線架、重要火力設(shè)施、駕駛艙等作為要害檢測(cè)關(guān)鍵點(diǎn)標(biāo)注,如圖8所示。數(shù)據(jù)集共計(jì)4 672張圖像,像素為1 024×768,COCO關(guān)鍵點(diǎn)標(biāo)注格式,按照8∶1∶1劃分后,訓(xùn)練集3 736張、測(cè)試集468張、驗(yàn)證集468張。

圖8 艦船關(guān)鍵點(diǎn)

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

初始輸入圖像的降采樣率為R。R取值較小,保留的細(xì)粒度特征信息更多,但硬件運(yùn)算負(fù)擔(dān)大;R取值較大計(jì)算量低,但會(huì)引入較大檢測(cè)誤差。為較好地平衡檢測(cè)效率與檢測(cè)精度,實(shí)驗(yàn)設(shè)置R=4。使用Adam優(yōu)化器迭代訓(xùn)練,輸入圖像統(tǒng)一縮放為512×512分辨率。訓(xùn)練過程學(xué)習(xí)率逐步下降,初始學(xué)習(xí)率為5×10-4,在第37Epoch、第45Epoch與第70Epoch下降為先前的1/10,設(shè)置初始迭代次數(shù)為90,批處理規(guī)模為8。實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

3.2 損失函數(shù)

熱力圖關(guān)鍵點(diǎn)預(yù)測(cè)分支:目標(biāo)關(guān)鍵點(diǎn)中心點(diǎn)唯一,非目標(biāo)位置易產(chǎn)生較多中心點(diǎn),故使用改進(jìn)的Focal Loss損失函數(shù),改善樣本不均衡等問題,關(guān)鍵點(diǎn)預(yù)測(cè)損失函數(shù)如下所示：

(5)

關(guān)鍵點(diǎn)偏移預(yù)測(cè)分支:將所得特征圖與原圖建立映射,在映射期間,關(guān)鍵點(diǎn)坐標(biāo)不可避免會(huì)產(chǎn)生偏移。算法獲取熱力圖中關(guān)鍵點(diǎn)特征,引入偏移量將各關(guān)鍵點(diǎn)分配給最接近的特征實(shí)例。定義關(guān)鍵點(diǎn)偏移損失函數(shù)如下:

(6)

艦船尺度預(yù)測(cè)分支:與常規(guī)卷積相比,可變形卷積訓(xùn)練初期易發(fā)散,因此結(jié)合艦船中心點(diǎn)與預(yù)測(cè)框尺度損失共同訓(xùn)練,可提升艦船關(guān)鍵點(diǎn)檢測(cè)精度。利用關(guān)鍵點(diǎn)空間關(guān)系生成艦船目標(biāo)預(yù)測(cè)框,通過回歸熱力圖與特征圖,首先計(jì)算艦船中心點(diǎn)預(yù)測(cè)損失,同式(5),再求得每個(gè)艦船目標(biāo)的寬高,艦船尺度預(yù)測(cè)損失函數(shù)如下:

(7)

損失函數(shù)分別與不同權(quán)重相乘,即為Warkp-DLA算法的總體損失函數(shù)如下:

Ldet=Llocation(keypoint+boxcenter)+λoffLoff(keypoint+boxcenter)+λsizeLsize

(8)

由于檢測(cè)數(shù)據(jù)不影響預(yù)測(cè)分支懲罰函數(shù),參照原CenterNet算法,設(shè)置關(guān)鍵點(diǎn)預(yù)測(cè)分支邏輯回歸懲罰系數(shù)α=2,β=4,關(guān)鍵點(diǎn)與目標(biāo)中心點(diǎn)偏移損失權(quán)重λoff=0.1,檢測(cè)尺度損失權(quán)重λsize=0.1。

3.3 評(píng)價(jià)指標(biāo)

采用目標(biāo)關(guān)鍵點(diǎn)相似度(object keypoint similarity,OKS)作為分段標(biāo)準(zhǔn),計(jì)算OKS分別取0.5,0.55,…,0.9,0.95時(shí)的檢測(cè)準(zhǔn)確度,計(jì)算平均準(zhǔn)確率的均值,OKS計(jì)算如下:

(9)

式中:q表示檢測(cè)類別；i表示關(guān)鍵點(diǎn)標(biāo)識(shí)；dqi表示關(guān)鍵點(diǎn)真實(shí)值與預(yù)測(cè)值的歐式距離；Sq表示預(yù)測(cè)目標(biāo)的尺度因子；σi表示第i個(gè)關(guān)鍵點(diǎn)的歸一化因子,對(duì)數(shù)據(jù)集中所有標(biāo)簽真實(shí)值計(jì)算標(biāo)準(zhǔn)差得到；vqi表示關(guān)鍵點(diǎn)的標(biāo)志位。各關(guān)鍵點(diǎn)檢測(cè)相似度取值介于[0,1]之間,檢測(cè)值越接近1,表征檢測(cè)效果越好。

平均準(zhǔn)確率(average precision,AP)定義為給定閾值s,預(yù)測(cè)艦船關(guān)鍵點(diǎn)在整個(gè)測(cè)試集上的平均準(zhǔn)確率。采用AP的均值(mean AP,mAP)評(píng)價(jià)算法檢測(cè)性能如下:

(10)

采用每秒處理幀數(shù)(frame per second,FPS)評(píng)價(jià)檢測(cè)速度。FPS、mAP值越大,表征算法檢測(cè)性能越好。

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 艦船關(guān)鍵點(diǎn)檢測(cè)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

為更好評(píng)估Warkp-DLA算法檢測(cè)效果,分別使用Resnet18、Res-dcn18、DLA34、DLA-dcn、Hourglass網(wǎng)絡(luò)作為對(duì)比試驗(yàn),測(cè)試結(jié)果如表2所示。

表2 艦船關(guān)鍵點(diǎn)檢測(cè)結(jié)果

表2可知,Resnet18、Res-dcn18、DLA34、DLA-dcn、Hourglass網(wǎng)絡(luò)用于艦船要害關(guān)鍵點(diǎn)檢測(cè)時(shí),相應(yīng)mAP分別為81.3%、80.8%、82.8%,83.2%,86.0%。Hourglass雖檢測(cè)精度較高,檢測(cè)速度僅12 FPS,檢測(cè)速度無(wú)法滿足任務(wù)需求,故選擇DLA-dcn網(wǎng)絡(luò)作為主干特征提取結(jié)構(gòu)。Warkp-DLA算法將深層網(wǎng)絡(luò)逐層反卷積,并聚合前層網(wǎng)絡(luò)有效特征,融合深層語(yǔ)義信息與淺層定位信息,改善深淺層特征映射造成的信息混疊,提升算法對(duì)多尺度艦船要害關(guān)鍵點(diǎn)的檢測(cè)魯棒性。Warkp-DLA算法準(zhǔn)確率可達(dá)87.6%,相較于以上網(wǎng)絡(luò)分別提升6.3%,6.8%,4.8%,4.4%,1.6%,檢測(cè)精度較高,性能提升明顯。由于Warkp-DLA算法引入了注意力機(jī)制與多尺度特征融合模塊,以SoftPool池化保留了細(xì)粒度特征,檢測(cè)速度略有下降,為27 FPS,仍高于Resnet、DLA-dcn與Hourglass,具備實(shí)時(shí)性檢測(cè)優(yōu)勢(shì)。網(wǎng)絡(luò)訓(xùn)練過程中的損失函數(shù)變化如圖9所示。

圖9 損失函數(shù)曲線

由于可變形卷積的比常規(guī)卷積更復(fù)雜,訓(xùn)練初期Resdcn18特征學(xué)習(xí)能力較弱,因此損失函數(shù)值較大;Dla34、DLA-dcn首先對(duì)圖像下采樣,再利用反卷積逐步恢復(fù)高分辨特征圖信息,深淺層特征映射時(shí)易造成檢測(cè)精度誤差,故曲線波動(dòng)較為明顯;Warkp-DLA算法收斂性與擬合效果更好,損失函數(shù)值更低,證明了算法改進(jìn)的有效性。對(duì)訓(xùn)練后的模型進(jìn)行測(cè)試,關(guān)鍵點(diǎn)檢測(cè)結(jié)果如圖10所示(為了明顯展示結(jié)果細(xì)節(jié),檢測(cè)效果圖經(jīng)過裁剪,為原圖的3/5區(qū)域)。實(shí)驗(yàn)表明,多角度、多尺度艦船成像條件下,Warkp-DLA算法均可實(shí)現(xiàn)艦船要害關(guān)鍵點(diǎn)精確檢測(cè)。

圖10 檢測(cè)結(jié)果

由關(guān)鍵點(diǎn)熱力圖可知,算法能夠較好地檢測(cè)出具有相似特征的不同關(guān)鍵點(diǎn),艦船外包輪廓利用關(guān)鍵點(diǎn)空間結(jié)構(gòu)生成,定位精度較高。由艦船中心點(diǎn)熱力圖可知,視場(chǎng)占比大,距離近的艦船熱力圖中心點(diǎn)較大,距離遠(yuǎn)的艦船熱力圖中心點(diǎn)較小。算法對(duì)多尺度、多角度艦船均可實(shí)現(xiàn)關(guān)鍵點(diǎn)精確檢測(cè)與中心點(diǎn)準(zhǔn)確定位。Warkp-DLA算法不依賴整體艦船檢測(cè)圖,直接回歸關(guān)鍵點(diǎn)檢測(cè)結(jié)果,當(dāng)艦船目標(biāo)不完整或局部遮擋時(shí),可實(shí)現(xiàn)要害關(guān)鍵點(diǎn)的精準(zhǔn)分類與回歸,適用于復(fù)雜場(chǎng)景下的艦船要害關(guān)鍵點(diǎn)檢測(cè)。此外,要害關(guān)鍵點(diǎn)檢測(cè)結(jié)果可輔助導(dǎo)引頭實(shí)現(xiàn)艦船位姿估計(jì)等任務(wù),算法功能有效擴(kuò)展。

3.4.2 算法模型與參數(shù)分析

艦船要害關(guān)鍵點(diǎn)檢測(cè)模型需兼具檢測(cè)精度與檢測(cè)速度,較少的參數(shù)與模型規(guī)模更有利于導(dǎo)引頭移動(dòng)端的部署,實(shí)驗(yàn)對(duì)比分析了不同網(wǎng)絡(luò)的參數(shù)與模型規(guī)模,如表3所示。

表3 模型參數(shù)

表3可知,Resnet18網(wǎng)絡(luò)結(jié)構(gòu)較簡(jiǎn)單,算法參數(shù)較少;DLA網(wǎng)絡(luò)在編碼-解碼過程中,聚合了多分辨率的特征圖,不同分支具備不同的上采樣倍數(shù),復(fù)雜的深淺層特征聚合導(dǎo)致參數(shù)增加;DLA-dcn網(wǎng)絡(luò)引入了可變形卷積,為標(biāo)準(zhǔn)卷積核的規(guī)格采樣點(diǎn)增添了偏移變量,對(duì)不同尺度或形變目標(biāo)具有更優(yōu)的檢測(cè)魯棒性,精度得到提升,DLA-dcn網(wǎng)絡(luò)參數(shù)更多,模型規(guī)模更大;Hourglass為多層級(jí)聯(lián)的沙漏結(jié)構(gòu),在旁路添加了跳躍連接,降低編碼-解碼過程中造成的精度損失,并引入中級(jí)監(jiān)督增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力,參數(shù)量高達(dá)191.25 M,模型為779.88 M,對(duì)硬件配置要求高;Warkp-DLA算法改進(jìn)DLA-dcn結(jié)構(gòu),利用深度可分離卷積替換部分標(biāo)準(zhǔn)卷積層,削減了算法參數(shù),訓(xùn)練后的模型為73.4 M,在保證檢測(cè)精度與速度的同時(shí),參數(shù)更少,模型規(guī)模更小,可較好適應(yīng)導(dǎo)引頭移動(dòng)端的部署。

分析不同模塊改進(jìn)后的參數(shù)與模型規(guī)模,由表4可知,利用深度可分離卷積替換殘差連接中的部分卷積,相較于原始網(wǎng)絡(luò),參數(shù)減少11.55%,模型規(guī)?？s減19.64%,可實(shí)現(xiàn)模型的輕量化改進(jìn);SoftPool池化替代最大值池化幾乎不增加參數(shù)量;增添RFB提升了算法對(duì)多尺度艦船要害的檢測(cè)能力,ECA增強(qiáng)了有效的特征表達(dá),算法對(duì)高質(zhì)量特征的提取與表達(dá)能力得到提升,造成參數(shù)少量增長(zhǎng),模型規(guī)模增大2.43%;SoftPool池化以指數(shù)為基礎(chǔ),結(jié)合softmax思想,保留較多用于細(xì)粒度檢測(cè)的特征信息,有效改善了具有相似特征的艦船要害關(guān)鍵點(diǎn)區(qū)分度,特征信息更多,規(guī)模更大。與原DLA-dcn相比,Warkp-DLA算法模型規(guī)模更小,參數(shù)更少。

表4 改進(jìn)后模型參數(shù)

3.4.3 消融實(shí)驗(yàn)

設(shè)計(jì)消融實(shí)驗(yàn)評(píng)估Warkp-DLA算法中,不同模塊改進(jìn)對(duì)艦船要害關(guān)鍵點(diǎn)的檢測(cè)效果,消融實(shí)驗(yàn)損失曲線如圖11所示,實(shí)驗(yàn)結(jié)果如表5所示。

圖11 消融實(shí)驗(yàn)損失曲線

表5 消融實(shí)驗(yàn)結(jié)果

表5與圖11可知,SoftPool池化保留的細(xì)粒度特征更多,利于算法區(qū)分具有相似特征的不同關(guān)鍵點(diǎn),mAP提升1.8%,檢測(cè)速度由26 FPS提升至28 FPS,證明SoftPool池化用于多尺度、多角度艦船要害關(guān)鍵點(diǎn)檢測(cè)的有效性;殘差結(jié)構(gòu)可使深層特征迅速獲取淺層的反饋信息,深度可分離卷積替代部分常規(guī)卷積,能夠在降低算法參數(shù)的同時(shí),小幅度提升檢測(cè)速度。針對(duì)艦船要害部位尺度變化劇烈的問題,RFB利用空洞卷積實(shí)現(xiàn)多尺度特征融合,較好地?cái)U(kuò)展了網(wǎng)絡(luò)寬度,提升算法對(duì)多尺度、多角度下的艦船要害關(guān)鍵點(diǎn)檢測(cè)敏感度,RFB與ECA能夠降低不同分辨率特征圖中的關(guān)鍵點(diǎn)映射損失,提升關(guān)鍵點(diǎn)偏移量的檢測(cè)準(zhǔn)確度,較好改善算法對(duì)多尺度目標(biāo)的特征提取能力,mAP提升3.6%。

Warkp-DLA算法有效融合深層語(yǔ)義信息與淺層定位信息,在迭代聚合的過程中不斷增強(qiáng)有效的特征信息,充分利用細(xì)粒度高質(zhì)量的特征圖,mAP提升4.4%,訓(xùn)練損失更低,收斂速度更快,滿足實(shí)時(shí)檢測(cè)需求。

改進(jìn)后測(cè)試結(jié)果如圖12所示,圖12(a)～圖12(e)上層為原算法檢測(cè)效果,下層為Warkp-DLA算法檢測(cè)效果,與真實(shí)坐標(biāo)對(duì)比可知,原算法檢測(cè)結(jié)果誤差較大,Warkp-DLA算法關(guān)鍵點(diǎn)熱力圖高斯分布更集中,檢測(cè)效果更清晰、準(zhǔn)確,可使導(dǎo)引頭獲取更精準(zhǔn)的艦船要害關(guān)鍵點(diǎn)檢測(cè)信息,滿足多尺度、多角度的艦船要害關(guān)鍵點(diǎn)檢測(cè)任務(wù)需求。由圖12(d)與圖12(e)可知,Warkp-DLA算法不依賴整體艦船檢測(cè)結(jié)果,在艦船目標(biāo)不完整的情況下,可直接定位要害關(guān)鍵點(diǎn),算法魯棒性更強(qiáng);當(dāng)視場(chǎng)中有多個(gè)艦船時(shí),可分別準(zhǔn)確地檢測(cè)出不同艦船要害關(guān)鍵點(diǎn),艦船中心點(diǎn)回歸準(zhǔn)確,利用關(guān)鍵點(diǎn)檢測(cè)結(jié)果表征的艦船輪廓準(zhǔn)確清晰,可為艦船航向及姿態(tài)的評(píng)估提供有力技術(shù)支撐。

圖12 檢測(cè)結(jié)果對(duì)比

4 結(jié) 論

(1)針對(duì)現(xiàn)有算法無(wú)法實(shí)現(xiàn)艦船要害部位檢測(cè),關(guān)鍵點(diǎn)檢測(cè)過于依賴整體目標(biāo)信息,算法參數(shù)冗余等問題,提出了一種基于深淺層特征融合的艦船要害關(guān)鍵點(diǎn)檢測(cè)算法,可實(shí)現(xiàn)多尺度、多角度下艦船要害關(guān)鍵點(diǎn)檢測(cè),檢測(cè)精度高,算法魯棒性強(qiáng);分析了算法參數(shù)與模型規(guī)模,并結(jié)合消融實(shí)驗(yàn)論證了算法改進(jìn)的有效性。

(2)針對(duì)末制導(dǎo)段艦船圖像尺度、角度變化劇烈,導(dǎo)致要害關(guān)鍵點(diǎn)檢測(cè)精度不足的問題,RFB與ECA可融合多尺度艦船高分辨特征,增強(qiáng)特征圖關(guān)鍵信息表達(dá)能力,mAP提升3.6%。

(3)針對(duì)最大值池化進(jìn)行下采樣導(dǎo)致信息損失,具有相似特征的關(guān)鍵點(diǎn)難以區(qū)分的問題,利用SoftPool改進(jìn)最大值池化,保留細(xì)粒度特征信息,改善相似特征關(guān)鍵點(diǎn)的區(qū)分度,mAP提升1.8%。

(4)針對(duì)算法參數(shù)冗余、模型規(guī)模大的問題,采用深度可分離卷積改進(jìn)殘差結(jié)構(gòu),可顯著降低算法參數(shù),壓縮模型,引入注意力機(jī)制可增強(qiáng)有效特征表達(dá),檢測(cè)精度高、可移植性好。

(5)針對(duì)數(shù)據(jù)集樣本的不均衡現(xiàn)象,在線難例挖掘可增強(qiáng)算法對(duì)困難樣本的特征學(xué)習(xí)能力,梯度累加可改善訓(xùn)練過程硬件內(nèi)存不足,提升算法特征提取能力與收斂速度。

下一步工作擬測(cè)試可見光與紅外圖像的模態(tài)融合檢測(cè)效果,并利用遷移學(xué)習(xí)實(shí)現(xiàn)復(fù)雜場(chǎng)景下的艦船要害部位關(guān)鍵點(diǎn)檢測(cè)。