基于YOLOv5的艦船目標(biāo)及關(guān)鍵部位檢測(cè)算法

錢 坤, 李晨瑄, 陳美杉, 王 瑤

(1. 海軍航空大學(xué)岸防兵學(xué)院, 山東 煙臺(tái) 264000; 2. 中國(guó)人民解放軍32127部隊(duì), 遼寧 大連 116100)

0 引 言

近年來(lái),隨著科技進(jìn)步和技術(shù)革新,海上作戰(zhàn)形式有了新的變化,智能化、小型化、無(wú)人化、精確化已成為趨勢(shì)。同時(shí),在大國(guó)博弈的背景下,以威懾為戰(zhàn)略目的,以失能為戰(zhàn)術(shù)目標(biāo)的精確化打擊,將成為雙方展示實(shí)力的重要手段。

水面艦艇作戰(zhàn)過(guò)程中,中、遠(yuǎn)段突防可以依托武器裝備的小型化和集群化對(duì)敵攔截武器系統(tǒng)施加壓力,所以末端突防階段的精確制導(dǎo)能力成為打擊能否成功的關(guān)鍵。在末制導(dǎo)技術(shù)中,圖像制導(dǎo)具有被動(dòng)探測(cè)、抗電磁干擾、成本低廉、設(shè)備體積小巧等優(yōu)勢(shì)。同時(shí),由于可見光圖像包含更加豐富的顏色和紋理細(xì)節(jié),也非常適合作為精確識(shí)別的信息來(lái)源,可有力支撐精確化打擊的實(shí)施。

由于計(jì)算機(jī)圖形處理器算力的限制,早期的圖像識(shí)別有著很強(qiáng)的手工設(shè)計(jì)痕跡,其解決問(wèn)題的過(guò)程大致可以概括為區(qū)域選擇、特征提取和分類識(shí)別3個(gè)步驟。區(qū)域選擇多基于滑動(dòng)窗口方式;特征提取主要依據(jù)目標(biāo)顏色、紋理,設(shè)計(jì)專門的提取算法,典型方法有尺度不變特征變換(scale-invariant feature transform,SIFT)和方向梯度直方圖(histogram of oriented gradients,HOG);分類識(shí)別主要應(yīng)用支持向量機(jī)(support vector machine,SVM)或AdaBoost。這種方法泛化能力差,難以在實(shí)際問(wèn)題中實(shí)現(xiàn)多類別的、大數(shù)據(jù)量的、實(shí)時(shí)準(zhǔn)確的檢測(cè)識(shí)別。2006年,深度學(xué)習(xí)思想的提出指出了多層人工神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的特征學(xué)習(xí)能力,即從訓(xùn)練模型中所提取的特征能夠更本質(zhì)地表達(dá)輸入圖像具備的特征,從而解決了特征可視化和分類問(wèn)題。同時(shí),人工神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入圖像進(jìn)行分層級(jí)地表達(dá),這樣可以顯著降低多層人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度,正式開啟了深度學(xué)習(xí)領(lǐng)域的研究。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的引入,解決了滑動(dòng)窗口選擇和人工特征提取的問(wèn)題,使得目標(biāo)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性有了大幅提升,其中最具代表性的有兩類算法,一是基于候選框的兩階段檢測(cè),如區(qū)域CNN(region-CNN, R-CNN)算法,Fast R-CNN,Faster R-CNN,基于區(qū)域的全CNN(region-based fully CNN, R-FCN)算法以及Mask R-CNN。二是基于免候選框的單階段檢測(cè),典型的有單次多框檢測(cè)器算法(single shot multibox detector, SSD),Retina-Net以及YOLO系列算法。2015年YOLOv1被提出,其核心思想與Faster R-CNN類似,將整幅圖片作為網(wǎng)絡(luò)的輸入,并直接在輸出層實(shí)現(xiàn)邊界框位置和分類的確定;隨后的YOLOv2在采用了批量歸一化、高分分類器和先驗(yàn)框等優(yōu)化策略后,實(shí)現(xiàn)了速度、準(zhǔn)確率和識(shí)別對(duì)象類別數(shù)量上的提升;YOLOv3的結(jié)構(gòu)更加復(fù)雜,引入了特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)和darknet-53網(wǎng)絡(luò),并允許改變網(wǎng)絡(luò)結(jié)構(gòu)以權(quán)衡速度與精度,計(jì)算速度大幅提高;YOLOv4的網(wǎng)絡(luò)架構(gòu)變化很大,通過(guò)大量的調(diào)參試驗(yàn),在輸入網(wǎng)絡(luò)分辨率、卷積層數(shù)和參數(shù)數(shù)量間找到最佳平衡,實(shí)現(xiàn)了綜合性能的提升;YOLOv5在網(wǎng)絡(luò)輕量化上貢獻(xiàn)明顯,速度更快,也更加易于部署。

基于衛(wèi)星遙感合成孔徑雷達(dá)(synthetic aperture radar,SAR)圖像的海上艦船識(shí)別已經(jīng)比較成熟,但無(wú)論是星載還是機(jī)載,所獲取的SAR圖像多為俯視視角,對(duì)于反艦武器掠海攻擊來(lái)說(shuō)借鑒意義不大。同時(shí),由于SAR成像機(jī)理限制,難以實(shí)時(shí)成像和對(duì)動(dòng)目標(biāo)高質(zhì)量成像,因此并不適用于圖像制導(dǎo)。在小型化、集群化的突防武器上使用可見光圖像制導(dǎo),利用豐富的圖像信息進(jìn)行艦船要害部位檢測(cè)識(shí)別,而后實(shí)施高精度的打擊使敵艦失能,就成為一種可行的戰(zhàn)術(shù)思路。

在基于水平視角的艦船目標(biāo)識(shí)別研究中,文獻(xiàn)[24]使用了傳統(tǒng)的HOG+SVM方法,經(jīng)過(guò)圖像預(yù)處理、HOG特征提取訓(xùn)練以及SVM分類器訓(xùn)練來(lái)檢測(cè)船舶目標(biāo);文獻(xiàn)[25]則利用類FCN全卷積網(wǎng)絡(luò),能夠接受任意尺寸圖像的輸入;文獻(xiàn)[26-27]分別使用了YOLOv2和YOLOv3,取得了較好的效果。

本文在YOLOv5網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上進(jìn)行了深度優(yōu)化,在原有的空間金字塔池化(spatial pyramid pooling,SPP)網(wǎng)絡(luò)中引入了隨機(jī)池化的多卷層,進(jìn)一步提升了識(shí)別精度;運(yùn)用雙向FPN(bi-directional FPN, BiFPN)進(jìn)行多尺度特征融合,以提高特征融合效果,進(jìn)而優(yōu)化小目標(biāo)檢測(cè)能力;使用指數(shù)線性單元(exponential linear unit,ELU)函數(shù)作為激活函數(shù),加快了收斂速度,并提高了模型的魯棒性。同時(shí),針對(duì)之前的艦船目標(biāo)識(shí)別研究普遍將艦船視為一個(gè)質(zhì)點(diǎn),不區(qū)分具體打擊部位的情況,在本文的目標(biāo)識(shí)別過(guò)程中,同時(shí)對(duì)幾何形狀明顯和相對(duì)位置固定的艦船關(guān)鍵部位進(jìn)行精確識(shí)別,為海上精確打擊作戰(zhàn)提供了有益借鑒。

1 YOLOv5目標(biāo)識(shí)別算法

1.1 YOLOv5網(wǎng)絡(luò)架構(gòu)

YOLOv5的網(wǎng)絡(luò)架構(gòu)整體上與YOLOv4比較相似,從結(jié)構(gòu)上大致可以分為輸入端、骨干段、頸部段和頭部輸出端4個(gè)部分,具體結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)示意圖

與YOLO之前版本不同的是,YOLOv5實(shí)現(xiàn)了網(wǎng)絡(luò)架構(gòu)的系列化,有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x這4種結(jié)構(gòu),結(jié)構(gòu)的變化是通過(guò)調(diào)節(jié)深度倍數(shù)和寬度倍數(shù)實(shí)現(xiàn)的。通過(guò)在每個(gè)跨階段局部網(wǎng)絡(luò)(cross stage partial networks,CSPN)中設(shè)置不同的殘差組件數(shù)量,得到不同深度的網(wǎng)絡(luò);在聚焦結(jié)構(gòu)和每個(gè)CSPN設(shè)定不同數(shù)量的卷積核,得到不同寬度的網(wǎng)絡(luò),表1是YOLOv5系列網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)。

表1 YOLOv5系列網(wǎng)絡(luò)結(jié)構(gòu)的深度和寬度倍數(shù)參數(shù)

隨著網(wǎng)絡(luò)深度和寬度的增加,其泛化學(xué)習(xí)能力、特征提取能力和特征融合能力也會(huì)隨之增強(qiáng),代價(jià)是計(jì)算時(shí)間會(huì)有所增加。通過(guò)這樣靈活的設(shè)定,可以根據(jù)具體需求,在檢測(cè)速度和準(zhǔn)確性間找到平衡。

1.2 YOLOv5模型檢測(cè)識(shí)別算法原理

在輸入端主要有如下幾項(xiàng)工作:一是基于馬賽克算法的數(shù)據(jù)增強(qiáng),將4張圖像分為一組,經(jīng)過(guò)隨機(jī)縮放、拼接或疊加合成一幅圖像進(jìn)行后續(xù)訓(xùn)練,目的是豐富數(shù)據(jù)集并縮短訓(xùn)練時(shí)長(zhǎng),經(jīng)驗(yàn)證也可以降低內(nèi)存的占用率。二是自適應(yīng)錨框計(jì)算,訓(xùn)練中,輸出的預(yù)測(cè)框與真實(shí)框進(jìn)行比對(duì),通過(guò)計(jì)算兩者之間的交并比得到偏移量,反向迭代后,得到最適應(yīng)數(shù)據(jù)集的錨框大小。三是自適圖像片縮放,輸入圖像的尺寸是不一樣的,在YOLOv5中常用的尺寸有416×416,608×608,640×640等,通過(guò)等比縮放并用黑邊填充,得到尺寸統(tǒng)一的輸入圖像。

在骨干段網(wǎng)絡(luò),采取聚焦結(jié)構(gòu)來(lái)裁剪輸入圖像,將數(shù)據(jù)切分為4份,每份數(shù)據(jù)都相當(dāng)于在2倍下采樣下得到,在縱向通道進(jìn)行拼接,之后進(jìn)行卷積運(yùn)算。以YOLOv5s為例,原始的640×640×3的圖像輸入聚焦結(jié)構(gòu)后,經(jīng)過(guò)切片變成320×320×12的特征圖,再經(jīng)過(guò)32個(gè)卷積核的卷積運(yùn)算,得到320×320×32的特征圖。而在YOLOv5m架構(gòu)中,則有48個(gè)卷積核,所以經(jīng)過(guò)聚焦結(jié)構(gòu)后輸出為320×320×48的特征圖,YOLOv5l,YOLOv5x也是同理。而在特征生成部分,則沿用YOLOv3的SPP網(wǎng)絡(luò)來(lái)完成。

在頸部段網(wǎng)絡(luò),應(yīng)用路徑聚合網(wǎng)絡(luò)(path-aggregation network,PANet)進(jìn)行特征融合,PANet是在FPN基礎(chǔ)上增加了一條自底向上的信息流通路,縮短了信息傳輸路徑,旨在使準(zhǔn)確的底層定位信息能夠增強(qiáng)到整個(gè)特征提取網(wǎng)絡(luò)。

損失函數(shù)的選取對(duì)于評(píng)估預(yù)測(cè)準(zhǔn)確性至關(guān)重要,早期的交并比損失函數(shù)(intersection over union loss, IoU Loss)設(shè)計(jì)比較簡(jiǎn)單,只計(jì)算預(yù)測(cè)框與真實(shí)框交集面積與并集面積的比值,但實(shí)際情況是這個(gè)比值并不能完全反映預(yù)測(cè)框與真實(shí)框的相對(duì)位置。在頭部輸出端,通過(guò)引入中心點(diǎn)距離和寬高比兩個(gè)參數(shù)后,形成了完全I(xiàn)OU Loss(complete IOU Loss, CIoU Loss)。

(1)

(2)

(3)

式中:是預(yù)測(cè)框與目標(biāo)框的中心點(diǎn)距離;是最小外接矩形對(duì)角線長(zhǎng)度; 和分別是是預(yù)測(cè)框與目標(biāo)框的寬高比。YOLOv5目標(biāo)檢測(cè)流程如圖2所示。

圖2 YOLOv5目標(biāo)檢測(cè)流程圖

2 基于改進(jìn)YOLOv5的艦船目標(biāo)關(guān)鍵部位檢測(cè)識(shí)別

2.1 算法整體框架

算法基于YOLOv5網(wǎng)絡(luò)模型,兼顧精度與速度,網(wǎng)絡(luò)輕量化優(yōu)勢(shì)突出。輸入圖像尺寸靈活,經(jīng)自適應(yīng)縮放后統(tǒng)一為640×640后進(jìn)入聚焦結(jié)構(gòu),經(jīng)過(guò)多層卷積運(yùn)算后,進(jìn)入隨機(jī)池化SPP網(wǎng)絡(luò),進(jìn)行圖像下采樣,降低維度,減少網(wǎng)絡(luò)參數(shù),增大卷積核的局部感受野;再進(jìn)入BiFPN結(jié)構(gòu),進(jìn)行不同尺度下的特征融合,旨在進(jìn)一步減少冗余計(jì)算,提升后續(xù)檢測(cè)精度;同時(shí)在網(wǎng)絡(luò)中應(yīng)用ELU激活函數(shù),代替帶泄露線性整流函數(shù)(leaky rectified linear unit, Leaky ReLU),起到抑制噪聲、加快收斂速度并提升模型魯棒性的作用。算法整體框架如圖3所示，圖中Conv意為卷積。

圖3 算法整體架構(gòu)

2.2 基于隨機(jī)池化的多卷積層SPP網(wǎng)絡(luò)

YOLOv5延續(xù)了YOLOv3中的SPP網(wǎng)絡(luò),在SPP結(jié)構(gòu)中,使用最大值池化進(jìn)行運(yùn)算。池化的目的是將區(qū)域中的信息進(jìn)行壓縮,從而完成信息的提取和抽象,通過(guò)池化運(yùn)算能夠達(dá)到數(shù)據(jù)降維、特征壓縮、擴(kuò)大感受野以及實(shí)現(xiàn)不變性(包括平移、旋轉(zhuǎn)和尺度的不變性)。所以在設(shè)計(jì)池化運(yùn)算的時(shí)候要在簡(jiǎn)化運(yùn)算的基礎(chǔ)上盡量減少特征圖中信息映射的丟失。3種典型池化方法如圖4所示。

圖4 3種典型池化方法

池化運(yùn)算中,最為常用的是平均池化和最大值池化,前者可以輸出子區(qū)域內(nèi)特征值的均值,能夠更多地保留背景信息,后者輸出子區(qū)域內(nèi)特征值的最大值,強(qiáng)調(diào)輸出圖中最強(qiáng)烈的部分,但對(duì)于差異性不明顯的情況容易造成特征信息的丟失。隨機(jī)池化介于兩者之間,思路是通過(guò)對(duì)像素點(diǎn)按照數(shù)值大小賦予概率,即數(shù)值大的被選中的概率也大,這樣的設(shè)計(jì)在平均意義上與平均池化相近,但在局部信息上,依舊服從最大值池化的規(guī)則。

首先計(jì)算池化區(qū)域的統(tǒng)計(jì)和∑=,用每個(gè)特征值去除這個(gè)統(tǒng)計(jì)和,從而得到每個(gè)特征值的概率值=∑∈,之后按照這個(gè)概率值進(jìn)行隨機(jī)采樣,從而實(shí)現(xiàn)隨機(jī)池化,如下式所示:

=,～P(,,…,||)

(4)

式中:是采樣的窗口大小;為被采樣的特征值;為按照隨機(jī)選擇的數(shù)值。

在SPP結(jié)構(gòu)中應(yīng)用隨機(jī)池化,改進(jìn)后的隨機(jī)池化SPP結(jié)構(gòu)如圖5所示。

圖5 隨機(jī)池化SPP結(jié)構(gòu)圖

2.3 基于BiFPN的多尺度特征融合網(wǎng)絡(luò)

伴隨YOLO架構(gòu)的發(fā)展,模型愈加復(fù)雜,網(wǎng)絡(luò)不斷加深,所提取的特征語(yǔ)義維度也越來(lái)越高,但每層網(wǎng)絡(luò)都會(huì)造成一定程度的特征丟失,這就需要對(duì)在不同尺度上提取的特征進(jìn)行融合。YOLO架構(gòu)的多尺度特征融合經(jīng)歷了從類FPN,FPN,再到PANet的不斷優(yōu)化改進(jìn),從原理來(lái)看,淺層網(wǎng)絡(luò)擁有更高的分辨率,涵蓋了更準(zhǔn)確的位置信息;深層網(wǎng)絡(luò)感受野更大,涵蓋更多的高維語(yǔ)義信息,對(duì)目標(biāo)的分類貢獻(xiàn)更大。所以優(yōu)化不同尺度信息融合效果就成為提升網(wǎng)絡(luò)架構(gòu)的一種方法。

單階段目標(biāo)檢測(cè)算法面臨的問(wèn)題是無(wú)法通過(guò)一個(gè)單一階段的特征抽取得到不同尺度的特征。在骨干段抽取生成的特征,按照階段進(jìn)行劃分,記作、、…、,數(shù)字代表圖像分辨率減半的次數(shù),如表示第4階段,輸出為原圖像116尺寸的特征圖。

之后由上至下逐層進(jìn)行特征融合,輸出的記作,這個(gè)過(guò)程可以用方程表示為

=(,+1),∈{3,4,…,6}

(5)

YOLOv5在頸部段應(yīng)用了PANet進(jìn)行特征融合,PANet結(jié)構(gòu)的特點(diǎn)是在到層建立了自下而上的融合鏈路,加強(qiáng)了底層強(qiáng)定位特征的向上傳遞。由Google的大腦團(tuán)隊(duì)在2020年提出的EfficientDet目標(biāo)檢測(cè)網(wǎng)絡(luò)中首次應(yīng)用了BiFPN多尺度特征融合,相對(duì)于PANet,BiFPN主要的改進(jìn)有3點(diǎn):減少了部分節(jié)點(diǎn),BiFPN中刪除了入度為1的節(jié)點(diǎn),因?yàn)檫@樣的節(jié)點(diǎn)相較于前一節(jié)點(diǎn)沒(méi)有額外信息,可以減少冗余計(jì)算;增加了跳躍鏈接,使輸出層不但能夠得到自下而上已經(jīng)參與特征融合的信息,還保留了原始節(jié)點(diǎn)未經(jīng)融合的信息;形成了融合模塊,可以作為整體繼續(xù)參與堆疊,做進(jìn)一步融合,各層關(guān)系如下式所示:

(6)

通過(guò)這樣的設(shè)計(jì),理論上可以實(shí)現(xiàn)精度的小幅提升和運(yùn)算量的大幅降低,這對(duì)于設(shè)備空間極為有限,運(yùn)算能力并不突出的彈載裝備來(lái)說(shuō)具有很大的現(xiàn)實(shí)意義。PANet結(jié)構(gòu)和BiFPN結(jié)構(gòu)如圖6所示,其中,為各層的中間特征。

但是濕式電除塵器運(yùn)行溫度在煙氣的露點(diǎn)以下，內(nèi)部煙氣、液體具有強(qiáng)烈的腐蝕性，因此，在選材時(shí)必須考慮采用抗腐蝕性能強(qiáng)的材料，以保證濕式電除塵器正常運(yùn)行和使用壽命。

圖6 PANet結(jié)構(gòu)和BiFPN結(jié)構(gòu)

2.4 ELU激活函數(shù)

激活函數(shù)的設(shè)計(jì)在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中非常重要,其特點(diǎn)是具備非線性,可以決定神經(jīng)網(wǎng)絡(luò)的感知機(jī)制是否觸發(fā),同時(shí),這種非線性也賦予了深度網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜函數(shù)的能力,在YOLOv5網(wǎng)絡(luò)架構(gòu)中的卷積模塊中應(yīng)用了Hard-Swish激活函數(shù),用分段函數(shù)可以表達(dá)為

(7)

在CSPN模塊中應(yīng)用了Leaky ReLU激活函數(shù),文獻(xiàn)[35]中提出了一種對(duì)Leaky ReLU函數(shù)的進(jìn)一步優(yōu)化方法。

(8)

如圖7所示,ELU函數(shù)有效融合了S型曲線函數(shù)(Sigmoid)和線性整流(rectified linear unit,ReLU)函數(shù)的優(yōu)點(diǎn),其在零點(diǎn)的右側(cè)呈線性,可以進(jìn)一步緩解梯度消失問(wèn)題;在零點(diǎn)左側(cè)是非線性的,使其對(duì)輸入變化或者噪聲有著更優(yōu)異的魯棒性。并且由于ELU函數(shù)的輸出均值接近于0,所以在收斂速度上也有一定提升。在YOLOv5網(wǎng)絡(luò)架構(gòu)中用引入ELU函數(shù)代替原有的Leaky ReLU函數(shù)作為激活函數(shù)。

圖7 ELU激活函數(shù)圖像(α=1)

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

基于水平視角或較低視角的海上艦船可見光圖像目前尚無(wú)權(quán)威數(shù)據(jù)集,作戰(zhàn)艦艇圖像數(shù)據(jù)因涉密原因也比較難以獲取,所以本文所用數(shù)據(jù)集主要由兩部分組成。一部分是利用基于Python腳本的爬蟲技術(shù)爬取圖片素材網(wǎng)站中的目標(biāo)圖像得到的,主要過(guò)程是在素材網(wǎng)站中搜索“航空母艦”“宙斯盾驅(qū)逐艦”“漁船”“貨輪”等關(guān)鍵字,得到含有大量搜索結(jié)果的網(wǎng)頁(yè)及其源代碼,分析獲取目標(biāo)圖像的統(tǒng)一資源定位符(uniform resource locator,URL),并依照URL進(jìn)行下載。另一部分是人工實(shí)地拍攝的,包括長(zhǎng)焦鏡頭拍攝和無(wú)人機(jī)掠海航拍,兩部分經(jīng)過(guò)人工篩選后匯總,所建立的數(shù)據(jù)集共有圖像1 544幅,包含民用船只558幅、作戰(zhàn)艦艇區(qū)分航空母艦和驅(qū)逐艦各636幅、741幅。圖像大小為1 200×800至300×200之間,經(jīng)自適應(yīng)縮放后統(tǒng)一為640×640大小。部分樣本如圖8所示。

圖8 部分樣本

在反艦裝備智能化、小型化、集群化的發(fā)展方向上,以命中艦艇為精度的攻擊已經(jīng)難以滿足要求,因?yàn)樾⌒突姆磁炍淦鳉芰Σ蛔?難以對(duì)艦船造成實(shí)質(zhì)性的傷害,所以必須命中艦船的要害部位,比如攻擊雷達(dá)或天線,可以癱瘓艦艇的偵察、火控和通信能力;攻擊艦艇駕駛艙,可以直接癱瘓指揮中樞,實(shí)施艦上“斬首”;攻擊船尾甲板下部舵機(jī)艙,可以破壞其機(jī)動(dòng)能力;攻擊水線部位,則能夠造成船身進(jìn)水,直接威脅艦船安全。

在以上要害部位中,可以優(yōu)先選擇艦艇的相控陣?yán)走_(dá)陣面,一方面是相控陣?yán)走_(dá)是現(xiàn)代艦艇的標(biāo)配,其陣面天線多為形狀規(guī)則的多邊型,且艦艇配有多個(gè)陣面,正向或是側(cè)向突防時(shí)都能明顯觀察。還可以選擇艦島上方桅桿,這個(gè)部位敏感器件密集,位于艦船的最高點(diǎn),相對(duì)位置突出。舵機(jī)艙所占空間較大,允許的攻擊誤差也相對(duì)較大,且位于艦艇尾部甲板下方,位置也比較明顯。駕駛艙位于艦島中上部,單層(驅(qū)逐艦)或多層(航空母艦)的聯(lián)排的舷窗是其明顯的標(biāo)志。

綜上,在具體標(biāo)注過(guò)程中,選擇在驅(qū)逐艦上標(biāo)注桅桿、相控陣?yán)走_(dá)、駕駛艙和舵機(jī)艙;在航空母艦上標(biāo)注桅桿和駕駛艙;民用船只不標(biāo)注關(guān)鍵部位。經(jīng)統(tǒng)計(jì),共標(biāo)注帶有關(guān)鍵部位的作戰(zhàn)艦艇圖像1 052幅,每幅作戰(zhàn)艦艇平均標(biāo)注367個(gè)關(guān)鍵部位。數(shù)據(jù)集格式使用PASCAL VOC格式,并運(yùn)用開源工具labelImg進(jìn)行手工標(biāo)注。圖9所示為標(biāo)注樣例。

圖9 標(biāo)注樣例

在關(guān)鍵部位尺度上,符合小尺度關(guān)鍵部位(小于50像素)的占81%,中尺度關(guān)鍵部位(介于50至130像素之間)的占17%,大尺度關(guān)鍵部位(大于130像素)的占2%,所以對(duì)小目標(biāo)的檢測(cè)能力是模型優(yōu)化的關(guān)鍵。

在數(shù)據(jù)集的劃分上,使用腳本文件將全部圖像按照8∶1∶1的比例隨機(jī)劃分成訓(xùn)練集、測(cè)試集和驗(yàn)證集,具體數(shù)量為訓(xùn)練集1 237幅、測(cè)試集149幅和驗(yàn)證集158幅,標(biāo)注數(shù)據(jù)如表2所示,實(shí)驗(yàn)的具體環(huán)境配置如表3所示。

表2 數(shù)據(jù)集標(biāo)準(zhǔn)情況統(tǒng)計(jì)表

表3 實(shí)驗(yàn)環(huán)境

3.2 YOLOv5架構(gòu)選擇及訓(xùn)練參數(shù)

主要的訓(xùn)練配置參數(shù)設(shè)置如下:訓(xùn)練周期為100,批處理量為16,圖片尺寸為640×640。

3.3 評(píng)價(jià)指標(biāo)

在識(shí)別精度方面采用混淆矩陣中的查準(zhǔn)率和召回率作為基本指標(biāo)(查準(zhǔn)率主要評(píng)估預(yù)測(cè)是否準(zhǔn)確,召回率主要評(píng)估查找是否完全),依據(jù)查準(zhǔn)率和召回率計(jì)算平均精度均值(mean average precision, mAP),作為精度的最終評(píng)價(jià)指標(biāo),用以衡量訓(xùn)練得到的模型在所有類別上的綜合表現(xiàn),并將交并比為0.5作為判別檢測(cè)成功與否的閾值。

在運(yùn)算速度方面采用每秒傳輸幀數(shù)(frames per second, FPS)和每秒浮點(diǎn)運(yùn)算次數(shù)(floating-point operations per second, FLOPs)進(jìn)行評(píng)價(jià),一方面可以考察是否滿足動(dòng)態(tài)實(shí)時(shí)檢測(cè)識(shí)別的要求,另一方面可以考察彈載設(shè)備的計(jì)算能力是否可以滿足模型的運(yùn)算負(fù)載。

在模型大小方面主要考察參數(shù)量的大小,參數(shù)量完全由模型結(jié)構(gòu)所決定,即一旦網(wǎng)絡(luò)結(jié)構(gòu)確定,參數(shù)量也隨之確定。同時(shí),由于參數(shù)以32位浮點(diǎn)數(shù)格式存儲(chǔ),所以模型文件大小約等于參數(shù)量的4倍。

同時(shí),為了檢驗(yàn)網(wǎng)絡(luò)模型魯棒性表現(xiàn),還設(shè)計(jì)了不同光照條件下的檢測(cè)識(shí)別實(shí)驗(yàn),為得到不同光照條件下的圖像,對(duì)原始圖像曝光度進(jìn)行調(diào)節(jié),得到一系列過(guò)曝和低照度情況的圖像,再用原YOLOv5s網(wǎng)絡(luò)和改進(jìn)后的YOLOv5s網(wǎng)絡(luò)分別進(jìn)行檢測(cè),并進(jìn)行效果對(duì)比。

3.4 識(shí)別結(jié)果與分析

通過(guò)訓(xùn)練,得到相應(yīng)的訓(xùn)練權(quán)重文件,使用權(quán)重訓(xùn)練文件對(duì)圖像進(jìn)行識(shí)別,結(jié)果如圖10所示。圖10(a)為待檢測(cè)的輸入圖像,圖10(b)為輸出的檢測(cè)結(jié)果,檢測(cè)結(jié)果中對(duì)于艦船目標(biāo),目標(biāo)框準(zhǔn)確標(biāo)示目標(biāo)外沿,對(duì)于艦船上小目標(biāo)的檢測(cè)清晰準(zhǔn)確,對(duì)于存在部分遮擋情況的目標(biāo)也能夠準(zhǔn)確識(shí)別。圖11和圖12是在不同光照條件下的檢測(cè)識(shí)別實(shí)驗(yàn)結(jié)果,改進(jìn)后的YOLOv5網(wǎng)絡(luò)在圖像存在明顯過(guò)曝或低照度條件下的檢測(cè)效果都比較穩(wěn)定,原YOLOv5網(wǎng)絡(luò)在低光照情況下,先出現(xiàn)了漏檢情況,在圖11(a)最右圖中檢測(cè)出了兩處相控陣?yán)走_(dá)天線,而在圖12(a)最右圖中漏檢了一處,說(shuō)明改進(jìn)后的網(wǎng)絡(luò)模型魯棒性有所提升,對(duì)于光照的變化不敏感。為客觀驗(yàn)證算法性能,在相同實(shí)驗(yàn)平臺(tái),同一數(shù)據(jù)集情況下,對(duì)幾種主流目標(biāo)識(shí)別網(wǎng)絡(luò)性能進(jìn)行了對(duì)比,準(zhǔn)確率和處理速度情況如表4所示。

圖10 實(shí)驗(yàn)結(jié)果示例

圖11 本文算法光照魯棒性實(shí)驗(yàn)結(jié)果

圖12 原算法光照魯棒性實(shí)驗(yàn)結(jié)果

表4 在艦船關(guān)鍵部位數(shù)據(jù)集上幾種算法的檢測(cè)精度和速度

本文算法對(duì)比傳統(tǒng)的HOG+SVM方法有著大幅提升,mAP提升近13%,速度提升了15 FPS;對(duì)比同為單階段檢測(cè)的SSD算法,mAP提高4.79%,速度上略有不足,但均能滿足實(shí)時(shí)性檢測(cè)要求;對(duì)比兩階段檢測(cè)的Mask R-CNN算法,mAP提高3.48%,速度上近乎翻倍;對(duì)比單階段免錨框的CenterNet-Hourglass(simple)算法,速度小幅提升,mAP提高4.88%;對(duì)比同系列的YOLO算法,在mAP和速度上也均有提升,特別是對(duì)照原YOLOv5s算法,mAP提高了3.03%,速度提升了2 FPS。在對(duì)含有艦船目標(biāo)的MP4格式視頻文件檢測(cè)試驗(yàn)中,所訓(xùn)練模型能夠準(zhǔn)確識(shí)別艦船及其關(guān)鍵部位,且跟蹤穩(wěn)定流暢。

分析7類目標(biāo)的識(shí)別結(jié)果,民用船只、駕駛艙和舵機(jī)艙在各算法中的識(shí)別正確率普遍較低,主要原因可能是民用船只形態(tài)各異,漁船、客輪、貨輪、液化天然氣船外形差異巨大,在數(shù)據(jù)集較小情況下,訓(xùn)練的效果比較一般;駕駛艙聯(lián)排舷窗屬于小目標(biāo),檢測(cè)相對(duì)較難;舵機(jī)艙位于船尾且較為低矮,在從船頭的正視角觀察時(shí),容易產(chǎn)生大部分被遮擋的情況。

由于YOLOv5模型輕量化的特點(diǎn),加之YOLOv5s對(duì)模型深度和寬度的精簡(jiǎn),原有模型的參數(shù)量?jī)H有7.5 M,顯著優(yōu)于其他算法,改進(jìn)型算法在參數(shù)量方面進(jìn)一步縮減了2.7%。在運(yùn)算開銷上看,YOLOv5模型比其他算法的算力要求明顯更低,改進(jìn)型算法在原有算法基礎(chǔ)上又降低了2.2%。

表5 各算法的參數(shù)量和運(yùn)算量

在實(shí)驗(yàn)測(cè)試中發(fā)現(xiàn),當(dāng)艦船置于復(fù)雜島岸背景下,漏檢、錯(cuò)檢概率明顯上升,如圖13所示。但復(fù)雜島岸背景下的精確化打擊有著極為重要的意義,甚至可能是我方面臨的主要海戰(zhàn)場(chǎng)環(huán)境,這說(shuō)明模型還需進(jìn)一步提升優(yōu)化。如圖13(a)中漏檢了岸邊艦船目標(biāo),并錯(cuò)檢了岸上停泊的轎車,圖13(b)中將船舶?？康牟次诲e(cuò)檢成了民用船只。

圖13 復(fù)雜島岸背景下檢測(cè)示例

3.5 消融實(shí)驗(yàn)

算法同時(shí)對(duì)原YOLOv5s模型的特征生成、特征融合和激活函數(shù)進(jìn)行了改進(jìn),為評(píng)估不同模塊改動(dòng)和不同模塊組合對(duì)于算法性能優(yōu)化的程度,設(shè)計(jì)了消融實(shí)驗(yàn),表6為消融實(shí)驗(yàn)數(shù)據(jù)。在相同的實(shí)驗(yàn)環(huán)境下,在艦船目標(biāo)及其關(guān)鍵部位數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)統(tǒng)計(jì)。數(shù)據(jù)表明,每個(gè)模塊單獨(dú)應(yīng)用均能對(duì)最終結(jié)果產(chǎn)生正向優(yōu)化,其中BiFPN對(duì)于識(shí)別準(zhǔn)確率的貢獻(xiàn)相對(duì)較為明顯,mAP提升0.78%,ELU激活函數(shù)對(duì)于速度的提升相對(duì)顯著,提高1 FPS。不同的組合對(duì)模型整體表現(xiàn)也基本呈現(xiàn)正向優(yōu)化。3個(gè)模塊的組合應(yīng)用對(duì)于最終的識(shí)別精度和處理速度優(yōu)化效果最好。

表6 消融實(shí)驗(yàn)數(shù)據(jù)

圖14列出在消融實(shí)驗(yàn)下檢測(cè)識(shí)別的效果對(duì)比。左列為消融實(shí)驗(yàn)檢測(cè)識(shí)別結(jié)果,右列為本文算法檢測(cè)識(shí)別結(jié)果,實(shí)驗(yàn)結(jié)果表明,消融實(shí)驗(yàn)組多次出現(xiàn)漏檢,本文算法組準(zhǔn)確識(shí)別出所有艦船目標(biāo)及其關(guān)鍵部位。

圖14 消融實(shí)驗(yàn)對(duì)比示例

4 結(jié) 論

在武器智能化、小型化和集群化的反艦作戰(zhàn)背景下,實(shí)現(xiàn)對(duì)艦船及其關(guān)鍵部位的識(shí)別是精確化打擊的基礎(chǔ)性工作。針對(duì)現(xiàn)有識(shí)別算法僅將艦船視為質(zhì)點(diǎn)而不區(qū)分部位的情況,首先構(gòu)建了艦船及其關(guān)鍵部位數(shù)據(jù)集,針對(duì)彈載設(shè)備算力有限的情況,提出了基于YOLOv5的改進(jìn)型輕量化艦船目標(biāo)及其關(guān)鍵部位識(shí)別算法。

改進(jìn)了基于隨機(jī)池化的多卷積層SPP網(wǎng)絡(luò),優(yōu)化特征提取效果,在突出強(qiáng)烈特征的同時(shí),也能對(duì)差異化不明顯的特征給予一定保留。在mAP指標(biāo)上相較主流的SSD、Mask R-CNN、CenterNet-Hourglass(simple)分別提升4.79%、3.48%、4.88%,較同系列的YOLOv2、YOLOv3和原YOLOv5s模型也分別有4.93%、3.35%和3.03%的提升。

使用BiFPN結(jié)構(gòu)進(jìn)行多尺度特征融合,減少冗余計(jì)算,降低計(jì)算負(fù)載。在以輕量化為特點(diǎn)的YOLOv5算法基礎(chǔ)上進(jìn)一步壓縮了2.7%的參數(shù)量。使用ELU函數(shù)代替原有的Leaky ReLU函數(shù)作為激活函數(shù),加快收斂速度,提升了模型魯棒性。算法能夠滿足實(shí)時(shí)性要求,運(yùn)算開銷較低,適合移動(dòng)部署。

目前,海上艦船目標(biāo)精確識(shí)別依舊面臨很多問(wèn)題,如移動(dòng)平臺(tái)采集圖像成像質(zhì)量不佳;海上氣候條件惡劣,容易受煙、霧、不良光照干擾,從而丟失目標(biāo)紋理細(xì)節(jié),對(duì)要害部位識(shí)別造成困難。以上問(wèn)題需要對(duì)圖像進(jìn)行有針對(duì)性的預(yù)處理,完成圖像增強(qiáng)和重建等工作。在實(shí)驗(yàn)測(cè)試中還發(fā)現(xiàn),艦船在臨近島岸情況下漏檢、錯(cuò)檢概率明顯增加,說(shuō)明在復(fù)雜背景下的檢測(cè)識(shí)別能力還有提升空間,以上問(wèn)題將是后續(xù)工作的重點(diǎn)研究方向。