基于改進(jìn)YOLOv5的復(fù)雜環(huán)境下小目標(biāo)彈孔識(shí)別

吳 飛,李 綸

(武漢理工大學(xué) 機(jī)電工程學(xué)院, 武漢 430000)

0 引言

胸環(huán)靶射擊項(xiàng)目是軍事實(shí)訓(xùn)中十分重要的環(huán)節(jié),簡(jiǎn)單快捷的報(bào)靶流程也是研究重點(diǎn)。目前室內(nèi)報(bào)靶環(huán)節(jié)在逐步智能化,但室外復(fù)雜環(huán)境的報(bào)靶工作,仍需依靠人工報(bào)靶員,具有較大風(fēng)險(xiǎn)[1-2]。解決室外自動(dòng)報(bào)靶困難的關(guān)鍵在于彈孔識(shí)別與定位,室外的光照、陰影、樹(shù)葉對(duì)彈孔的遮擋、靶面振動(dòng)等不穩(wěn)定因素都影響著識(shí)別的正確率與穩(wěn)定性[3]。因此,研究出能夠在復(fù)雜環(huán)境下對(duì)彈孔進(jìn)行快速且精確識(shí)別的系統(tǒng),對(duì)實(shí)現(xiàn)室外自動(dòng)報(bào)靶具有重要研究意義和實(shí)際應(yīng)用價(jià)值。

現(xiàn)階段利用視覺(jué)技術(shù)處理彈孔圖像的方式十分有潛力。王奇等[4]提出了一種基于紅外圖像的識(shí)別方法,利用紅外圖像檢測(cè)子彈上靶留下的熱量,結(jié)合幀間差分法識(shí)別光斑中心來(lái)判定彈孔位置,但對(duì)相距較近或重疊的彈孔識(shí)別情況較差。Zhu等[5]研究出一種基于方向梯度直方圖(HOG)和支持向量機(jī)(SVM)的算法:利用HOG提取梯度特征,用SVM來(lái)區(qū)分真實(shí)彈孔和干擾噪點(diǎn),并建立彈孔數(shù)據(jù)庫(kù),通過(guò)重新訓(xùn)練的模型對(duì)彈孔進(jìn)行識(shí)別與分類。上述傳統(tǒng)的圖像處理方式十分依賴由人工提取的特征點(diǎn),導(dǎo)致特定環(huán)境下的目標(biāo)描述性好,但泛化性和適應(yīng)性較差。

深度神經(jīng)網(wǎng)絡(luò)發(fā)展迅速,其可通過(guò)大量訓(xùn)練來(lái)學(xué)習(xí)目標(biāo)對(duì)象的本質(zhì)信息,在復(fù)雜的場(chǎng)景任務(wù)中也能更好地表達(dá)目標(biāo)特征[6]。其中卷積神經(jīng)網(wǎng)絡(luò)[7](convolutional neural networks,CNN)最常應(yīng)用于圖像領(lǐng)域,主要研究?jī)?nèi)容為目標(biāo)檢測(cè)、語(yǔ)義分割、實(shí)例分割等[8]。目標(biāo)檢測(cè)是通過(guò)網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行定位,主要可分為2類:一類需要生成候選區(qū)再對(duì)候選區(qū)分類,以RCNN[9]、Fast R-CNN[10]為例;另一類則直接對(duì)圖像進(jìn)行卷積,比如YOLO[11]系列、SSD系列[12]等,具有檢測(cè)速度快的優(yōu)點(diǎn)。語(yǔ)義分割則是對(duì)圖像進(jìn)行像素級(jí)預(yù)測(cè),分割出含有語(yǔ)義信息的區(qū)域塊,典型代表有FCN[13]、DeepLab系列[14]。實(shí)例分割的經(jīng)典網(wǎng)絡(luò)為Mask R-CNN[15],精度高但速度較慢。彈孔屬于小目標(biāo),具有攜帶信息少、下采樣特征易丟失等特點(diǎn)[16],現(xiàn)階段將深度神經(jīng)網(wǎng)絡(luò)與彈孔識(shí)別結(jié)合起來(lái)的研究較少,因此想要同時(shí)兼顧實(shí)時(shí)性與精確度還需進(jìn)一步研究。

綜上所述,本研究中選擇改進(jìn)后的實(shí)例分割算法對(duì)彈孔痕跡進(jìn)行識(shí)別并分割,以檢測(cè)速度和精度都十分優(yōu)秀的YOLOv5的網(wǎng)絡(luò)為基礎(chǔ),引入分割卷積層,調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)與預(yù)測(cè)尺度,增加對(duì)彈孔小目標(biāo)的敏感度。同時(shí)模擬訓(xùn)練環(huán)境對(duì)其進(jìn)行測(cè)試,評(píng)估改進(jìn)后模型的精度與速度。

1 數(shù)據(jù)集制作

1.1 數(shù)據(jù)樣本采集

本文圖像采集于6—8月份的武漢市森林公園,采集設(shè)備型號(hào)為英特爾RealSense d435i,圖像保存為.JPG格式,圖像分辨率為1 920×1 080。為模擬更加真實(shí)的報(bào)靶環(huán)境,采集時(shí)分為晴天、陰天和多云等天氣,時(shí)間段分為清晨、正午、傍晚3個(gè)時(shí)間段,每個(gè)時(shí)間段變換角度、距離采集200張圖像,一共挑選出1 200張圖像。為了保證樣本多樣性,同時(shí)避免訓(xùn)練時(shí)產(chǎn)生過(guò)擬合等狀況,圖像樣本基本涵蓋了復(fù)雜背景中彈孔可能會(huì)出現(xiàn)的各種結(jié)果。比如:彈孔遮擋、彈孔模糊、樹(shù)影或樹(shù)葉遮擋等。圖1展示了一組收集到的復(fù)雜環(huán)境下的彈孔圖像。

圖1 復(fù)雜環(huán)境下的彈孔圖像

1.2 數(shù)據(jù)集制作與預(yù)處理

完成圖片樣本的基礎(chǔ)采集后,利用Labelme軟件對(duì)采集到的原始靶面圖像中的彈孔痕跡進(jìn)行分割,圖2為訓(xùn)練樣本及其標(biāo)簽示例。

圖2 訓(xùn)練樣本及其標(biāo)簽實(shí)例

為豐富彈孔背景,增加樣本集數(shù)量,提高模型的魯棒性,還需對(duì)原始圖像進(jìn)行數(shù)據(jù)增強(qiáng)。對(duì)每張照片隨機(jī)挑選一種處理方式,比如裁剪、旋轉(zhuǎn)、增加噪點(diǎn)、光學(xué)處理等,增強(qiáng)后的數(shù)據(jù)集共2 400張。按照8∶2的比例將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集,其中訓(xùn)練集1 920張,驗(yàn)證集480張。

2 基于YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

2.1 調(diào)整輸出尺度

原YOLOv5骨干網(wǎng)絡(luò)主要通過(guò)融合深層網(wǎng)絡(luò)信息,來(lái)增強(qiáng)網(wǎng)絡(luò)語(yǔ)義識(shí)別能力,利用特征金字塔網(wǎng)絡(luò)FPN(feature pyramid network)和路徑聚合網(wǎng)絡(luò)PAN(path aggregation network)對(duì)提取信息進(jìn)行整合,最后輸出3種尺度特征圖來(lái)預(yù)測(cè)目標(biāo)信息,結(jié)構(gòu)如圖3(a)所示。采集照片尺寸為1 920×1 080,彈孔像素尺寸在30×30～50×50范圍內(nèi)波動(dòng),目標(biāo)像素點(diǎn)占原圖像素點(diǎn)的比例小于0.012%,在小目標(biāo)中屬于極小類別,原有最大尺度失去預(yù)測(cè)意義,且原有小尺度已不適用彈孔目標(biāo)。因此,本研究在原有特征融合金字塔網(wǎng)絡(luò)上,增加4倍下采樣的淺層特征圖信息,用來(lái)補(bǔ)充高層語(yǔ)義信息中缺失的底層空間信息,增加模型對(duì)彈孔小目標(biāo)位置的敏感度。在預(yù)測(cè)特征圖方面,刪減32倍下采樣的大尺度預(yù)測(cè)圖,增加更小尺度的預(yù)測(cè)特征圖,增強(qiáng)對(duì)彈孔小目標(biāo)的識(shí)別能力,結(jié)構(gòu)如圖3(b)所示。

圖3 模型輸出特征圖尺度的改動(dòng)

2.2 目標(biāo)預(yù)測(cè)端解耦化

模型結(jié)構(gòu)以YOLOv5網(wǎng)絡(luò)框架為基礎(chǔ)。在YOLOv5中,負(fù)責(zé)檢測(cè)目標(biāo)邊界框的檢測(cè)端是卷積核為1×1、步長(zhǎng)為1的卷積層,同時(shí)預(yù)測(cè)目標(biāo)的回歸參數(shù)與類別概率。分類與回歸任務(wù)同時(shí)進(jìn)行,導(dǎo)致兩者耦合產(chǎn)生沖突,影響網(wǎng)絡(luò)性能。本文中網(wǎng)絡(luò)采用YOLOX中的解耦思想對(duì)預(yù)測(cè)內(nèi)容進(jìn)行解耦,可以顯著提升收斂速度,解耦后的具體結(jié)構(gòu)如圖4所示。

圖4 解耦端結(jié)構(gòu)

解耦結(jié)構(gòu)先通過(guò)卷積核1×1,步長(zhǎng)為1的卷積模塊ConvBNSILU(Conv2D batch normalization silu)將通道個(gè)數(shù)調(diào)整為256,其中ConvBNSILU模塊包含了卷積層、BN層和采用SILU激活函數(shù)的激活層。再延伸出2個(gè)并行分支,其中一個(gè)分支針對(duì)目標(biāo)信息預(yù)測(cè),另一個(gè)分支繼續(xù)并行2個(gè)1×1的卷積層,分別預(yù)測(cè)目標(biāo)回歸參數(shù)和預(yù)測(cè)框的置信度。

2.3 添加融合ASPP結(jié)構(gòu)的分割模塊

經(jīng)典的分割網(wǎng)絡(luò)如FCN(fully convolutional networks),通過(guò)反卷積對(duì)特征層(feature map)進(jìn)行上采樣(upsampling)恢復(fù)到原圖尺寸,并對(duì)像素進(jìn)行分類。然而彈孔作為小目標(biāo),特征信息較少,若采用傳統(tǒng)上采樣的方式容易造成細(xì)節(jié)丟失,所以在分割解碼器中融合了增加感受野的模塊ASPP(atrous spatial pyramid pooling)和淺層空間信息。ASPP由3種不同尺度的空洞卷積層(dilated convolution layer)、1×1卷積層與平均池化層(adaptive avg pooling layer)構(gòu)成,它可以在不丟失分辨率的情況下擴(kuò)大卷積核的感受野以獲取更多細(xì)節(jié)信息,有利于提高小目標(biāo)的檢測(cè)精度?？斩淳矸e層是ASPP的核心,其不僅可以擴(kuò)大感受野,還可以減少目標(biāo)特征信息流失。相比普通卷積層,空洞卷積采集的像素點(diǎn)存在間隙,間隙大小程度由膨脹因子rate決定,如圖5所示。

圖5 不同膨脹因子及其對(duì)應(yīng)感受野

由圖5可知,(a)為傳統(tǒng)卷積層rate為1,(b)和(c)顯示rate為2和3的卷積形態(tài),等效卷積核大小分別為5×5和7×7。對(duì)于采用空洞卷積的特征層,其感受野計(jì)算式為:

RFi-1=[k+2(r-1)]+s(RFi-1)

(1)

式(1)中:RFi代表第i層感受野;k應(yīng)卷積核尺寸;s應(yīng)步長(zhǎng)。取輸出特征層尺寸3×3,卷積核尺寸3×3,步長(zhǎng)設(shè)置1為例子。此時(shí)普通卷積層感受野為5×5,而rate為2和3的感受野尺寸分別為7×7和9×9,可以最大化利用像素點(diǎn)信息,如圖4(d)、圖4 (e)、圖4(f)所示。

ASPP通過(guò)并聯(lián)3個(gè)不同膨脹因子的空洞卷積層,來(lái)獲取多尺度信息,此時(shí)特征層下采樣倍數(shù)為8,膨脹因子設(shè)置為{12,24,36}。同時(shí)并聯(lián)1×1卷積層與全局池化層,全局池化層通過(guò)1×1的卷積層調(diào)整通道數(shù),再通過(guò)雙線性插值還原成輸入尺寸。最后拼接(Concat)5個(gè)部分并通過(guò)1×1的卷積層進(jìn)行融合,詳細(xì)結(jié)構(gòu)如圖6所示。

圖6 ASPP的并聯(lián)結(jié)構(gòu)

分割解碼器的結(jié)構(gòu)流程如圖7所示:先將8倍下采樣的高層語(yǔ)義特征圖送入ASPP模塊中,融合上下文信息并輸出尺寸不變的特征圖,再以雙線性插值的方式進(jìn)行2倍上采樣,結(jié)合主干網(wǎng)絡(luò)同尺度的低層特征圖,通過(guò)1×1卷積層進(jìn)行融合,得到下采樣倍數(shù)為4的特征層。接著采用相同的方法重復(fù)融合低層復(fù)雜邊緣空間信息,使得特征層在涵蓋復(fù)雜上下文語(yǔ)義信息的情況下,還能擁有良好的目標(biāo)邊緣檢測(cè)能力。最后上采樣還原到輸入圖片尺寸,輸出分割特征圖。

圖7 分割解碼器結(jié)構(gòu)示意圖

2.4 改進(jìn)后網(wǎng)絡(luò)整體結(jié)構(gòu)

整體網(wǎng)絡(luò)結(jié)構(gòu)分為特征提取主干(backbone)、融合層(neck)和解碼器(head)3個(gè)部分,改進(jìn)后的網(wǎng)絡(luò)模型如圖8所示。其中backbone為CSP-Darknet53,為融入CSP模塊后的Darknet53網(wǎng)絡(luò),CSP模塊為示意圖所標(biāo)示的C3結(jié)構(gòu),具有增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力、減少網(wǎng)絡(luò)計(jì)算量和降低顯存占用的優(yōu)勢(shì)。

圖8 改進(jìn)后的網(wǎng)絡(luò)模型結(jié)構(gòu)

Neck部分采用路徑聚合網(wǎng)絡(luò)PAN,在從底層到高層融合的特征金字塔FPN基礎(chǔ)上增加了從高層到底層融合的部分。充分利用backbone所提取的不同層次的特征信息,增加了對(duì)小目標(biāo)彈孔的敏感度。

Head部分有2個(gè)分支,分別是對(duì)特征圖進(jìn)行目標(biāo)檢測(cè)(object detection head)與語(yǔ)義分割(SEGMENT HEad),兩者并聯(lián)進(jìn)行。Segment Head以8倍下采樣特征層為基礎(chǔ),結(jié)合ASPP模塊再融合2次低層空間信息,最后通過(guò)上采樣生成原圖尺寸的分割圖。目標(biāo)檢測(cè)端輸出3種尺度的預(yù)測(cè)特征框,分別預(yù)測(cè)中小目標(biāo)與極小目標(biāo),通過(guò)非極大值抑制篩除不滿足要求的預(yù)測(cè)框后,將預(yù)測(cè)結(jié)果圖也還原到原圖尺寸。最后將輸出的分割圖與目標(biāo)檢測(cè)框圖相融合,得到每個(gè)彈孔的實(shí)例分割圖。

其中模型里采用的C3結(jié)構(gòu)為CSP模塊變體, backbone部分C3結(jié)構(gòu)和BottleNeck1的詳細(xì)結(jié)構(gòu)如圖9(a)、(b)所示,BottleNeck1數(shù)量按下采樣順序由上到下依次為{3,6,9,3},PAN 的C3結(jié)構(gòu)和backbone中相同,且BottleNeck2數(shù)量為固定值3。BottleNeck1相比BottleNeck2增加了殘差連接,其余卷積核尺寸都相同,如圖9(c)所示。

圖9 C3具體結(jié)構(gòu)及其對(duì)應(yīng)BottleNeck

金字塔池化SPP模塊主要用來(lái)解決目標(biāo)多尺度問(wèn)題,原有SPP模塊通過(guò)并聯(lián)3個(gè)尺寸為5×5、9×9、13×13的最大池化層來(lái)獲取局部特征和全局特征。而SPPF通過(guò)串聯(lián)3個(gè)尺寸為5×5的最大池化層的方式即可實(shí)現(xiàn)SPP的效果,運(yùn)算速率卻比SPP增加2倍有余,顯著降低了計(jì)算量,如圖10所示。

圖10 改進(jìn)后的空間金字塔模塊(SPPF)

2.5 損失函數(shù)

本文中網(wǎng)絡(luò)的損失函數(shù)由2部分組成,包括目標(biāo)檢測(cè)損失和分割掩膜(mask)預(yù)測(cè)損失為

Loss=Lobj+Lseg

(2)

Lobj=λ1Lcls+λ2Lconf+λ3Lloc

(3)

其中: 目標(biāo)檢測(cè)損失Lobj包括3個(gè)部分:分類損失Lcls(Classes loss)、置信度損失Lconf(Confidence loss)和定位損失Lloc(Location loss),λ1λ2λ3為平衡系數(shù)。分類損失和置信度損失都采用二值交叉熵?fù)p失BCEloss(Binary Cross Entropy loss)計(jì)算,但Lcls只計(jì)算正樣本損失,Lconf計(jì)算所有樣本損失,公式為

(4)

(5)

LCIoU=1-CIoU

(6)

(7)

(8)

(9)

由式(7)可知,ρ2(b,bgt)代表真實(shí)框與預(yù)測(cè)框中心點(diǎn)的歐式距離,c則代表預(yù)測(cè)框與真實(shí)框最小外接矩形對(duì)角線的長(zhǎng)度,wgt和w分別對(duì)應(yīng)真實(shí)框與預(yù)測(cè)框的寬,hgt和h同理。分割損失Lseg同樣采用BCE loss進(jìn)行計(jì)算,公式為

(10)

3 網(wǎng)絡(luò)訓(xùn)練

3.1 評(píng)價(jià)指標(biāo)

本研究中實(shí)驗(yàn)采用平均交并比mIoU(mean intersection over unio)、像素精度PA(pixel accuracy)、平均準(zhǔn)確率AP(average precision)、每秒傳輸幀數(shù)FPS(frames per second)為評(píng)價(jià)指標(biāo)來(lái)衡量網(wǎng)絡(luò)檢測(cè)精度與性能。P代表精確率,R代表回召率,AP為以R為橫坐標(biāo)P為縱坐標(biāo)的PR曲線的面積,代表目標(biāo)檢測(cè)平均精度值。

(11)

(12)

(13)

mIoU定義為預(yù)測(cè)值與真實(shí)值交集與并集的比值,PA表示預(yù)測(cè)正確的像素點(diǎn)數(shù)占總像素點(diǎn)數(shù)的比例,其表達(dá)式為

(14)

(15)

式(14)、式(15)中:(k+1)表示語(yǔ)義類別加上背景之后的總數(shù);i表示真實(shí)值;j為預(yù)測(cè)值;Pii表示預(yù)測(cè)值等于真實(shí)值的像素點(diǎn)數(shù);Pij表示類別i被預(yù)測(cè)為類別j的像素點(diǎn)數(shù);∑jPij表示類別i的總像素個(gè)數(shù)。

3.2 訓(xùn)練過(guò)程與結(jié)果評(píng)估

本實(shí)驗(yàn)在云服務(wù)器中搭建的環(huán)境里進(jìn)行,處理器為AMD Ryzen9 5900X 12-core processor,服務(wù)器運(yùn)行內(nèi)存為62 GB,顯存為24 GB,型號(hào)是RTX A5000;利用TensorFlow構(gòu)建網(wǎng)絡(luò)環(huán)境,版本為2.2.0,操作系統(tǒng)為Ubuntu18.04,編程語(yǔ)言為python3.8。

迭代次數(shù)(epoch)設(shè)置為150,Batch size設(shè)置為4。目標(biāo)過(guò)于單一,為防止過(guò)擬合現(xiàn)象的出現(xiàn),采用SGD優(yōu)化器,優(yōu)化器內(nèi)置參數(shù)momentum設(shè)為0.9,權(quán)值衰減(weight decay)設(shè)為0.000 5。初始學(xué)習(xí)率設(shè)為0.01,最小學(xué)習(xí)率為最大學(xué)習(xí)率的1/100,設(shè)置為0.000 1,學(xué)習(xí)率下降的方式為余弦退火(cosine annealing)。隨著迭代次數(shù)的增加,訓(xùn)練集與驗(yàn)證集上的損失值變化曲線與如圖11所示。

由圖11可知,從第35輪開(kāi)始,損失值下降趨勢(shì)減緩并趨于穩(wěn)定,曲線接近擬合狀態(tài),之后網(wǎng)絡(luò)損失一直在范圍內(nèi)波動(dòng),但從70輪之后,驗(yàn)證集損失值反而不降反升,說(shuō)明網(wǎng)絡(luò)已經(jīng)出現(xiàn)過(guò)擬合。評(píng)估擬合階段權(quán)重的精度值,選取精度最高的epoch83作為最優(yōu)權(quán)重,此時(shí)AP=92%

圖11 訓(xùn)練集與驗(yàn)證集的損失曲線

4 實(shí)驗(yàn)結(jié)果分析

4.1 不同算法的比較分析

本文中網(wǎng)絡(luò)模型以YOLOv5框架為基礎(chǔ),融合分割模塊,實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境小目標(biāo)的實(shí)例分割。所以在實(shí)驗(yàn)階段需結(jié)合經(jīng)典語(yǔ)義分割模型Deeplabv3+、實(shí)例分割模型Mask RCNN和原網(wǎng)絡(luò)YOLOv5及最新YOLOv7模型進(jìn)行對(duì)比分析。表1展示了不同算法在驗(yàn)證集下的評(píng)估結(jié)果。

表1 不同網(wǎng)絡(luò)模型的評(píng)估結(jié)果

由表1可知,模型檢測(cè)精度為92.42%,相比Mask_RCNN增加了6.02個(gè)百分點(diǎn),主干網(wǎng)絡(luò)替換成YOLOv5,省略了生成候選區(qū)的步驟,使檢測(cè)速度獲得顯著提升,FPS相比Mask_RCNN提升了6倍左右。與YOLOv5原網(wǎng)絡(luò)相比,識(shí)別精度對(duì)比s型有顯著提升,但模型結(jié)構(gòu)復(fù)雜導(dǎo)致FPS只占原來(lái)的1/2;對(duì)比l型精度水平相當(dāng),FPS提高7.36幀/s。最新的YOLOv7網(wǎng)絡(luò)識(shí)別能力強(qiáng),比本文模型精度略高,但運(yùn)行較慢,FPS僅占本文網(wǎng)絡(luò)1/5。mIoU屬于語(yǔ)義分割模型特有的指標(biāo),雖然3種分割網(wǎng)絡(luò)結(jié)構(gòu)不同,但mIoU值相近,無(wú)法比較出明顯區(qū)別,重點(diǎn)需要參考AP/PA值。在檢測(cè)精度方面,目標(biāo)識(shí)別領(lǐng)域利用AP來(lái)評(píng)估,語(yǔ)義分割領(lǐng)域可以采用同樣衡量預(yù)測(cè)精度的指標(biāo)PA來(lái)等效。由于主干網(wǎng)絡(luò)YOLOv5屬于目標(biāo)檢測(cè)網(wǎng)絡(luò),對(duì)目標(biāo)抓取能力較強(qiáng),本文中網(wǎng)絡(luò)模型相比backbone為MobileNetV2結(jié)構(gòu)的Deeplabv3+網(wǎng)絡(luò)識(shí)別精度提升8.07個(gè)百分點(diǎn),MobileNetV2屬于輕量化網(wǎng)絡(luò),運(yùn)算量較小,本文中模型FPS與其相近,略微提高0.6幀/s。Xception主干網(wǎng)絡(luò)較深,學(xué)習(xí)能力強(qiáng),結(jié)構(gòu)更加復(fù)雜,配合Deeplabv3+精度能夠達(dá)到94.85%,比本文模型高2.43個(gè)百分點(diǎn),但FPS較低,只能達(dá)到4.95幀/s。綜上所述,本文網(wǎng)絡(luò)模型能夠在檢測(cè)精度接近YOLOv7、Deeplabv3+ (Xception)等優(yōu)秀網(wǎng)絡(luò)的前提下,在檢測(cè)速度方面優(yōu)于其他網(wǎng)絡(luò),同時(shí)滿足準(zhǔn)確性與實(shí)時(shí)性的需求。

本文中模型檢測(cè)結(jié)果如圖12所示,展示了模型在傍晚光照、陰影遮擋、彈孔模糊情況下的檢測(cè)效果。預(yù)測(cè)結(jié)果中,所有彈孔都被成功識(shí)別,沒(méi)有出現(xiàn)漏檢或誤檢情況,彈孔分割精度也滿足要求。

圖12 改進(jìn)后的算法檢測(cè)效果

4.2 不同模型識(shí)別效果的對(duì)比試驗(yàn)

本文中研究對(duì)象為野外實(shí)彈訓(xùn)練產(chǎn)生的靶面彈孔,彈孔顏色深,容易和深綠色靶紙和周?chē)h(huán)境混淆,影響識(shí)別準(zhǔn)度與精度。因此,建立不同光照、不同陰影遮擋條件下的對(duì)比實(shí)驗(yàn),每一類挑選30張圖片進(jìn)行測(cè)試。光照和陰影遮擋實(shí)驗(yàn)的考察重點(diǎn)為彈孔輪廓的檢測(cè)精度與彈孔召回率,測(cè)試效果如圖13、圖14所示,其中為展現(xiàn)識(shí)別精度,對(duì)照網(wǎng)絡(luò)Deeplabv3+的主干網(wǎng)絡(luò)選為Xception。

由圖13可看出,改進(jìn)后網(wǎng)絡(luò)識(shí)別出的分割掩膜更加貼近彈孔真實(shí)輪廓,效果強(qiáng)于Mask RCNN,與Deeplabv3+分割精度相近,能夠較好地表現(xiàn)出彈孔的復(fù)雜邊緣。對(duì)于識(shí)別難度較低的清晨光照環(huán)境,本文中網(wǎng)絡(luò)與YOLOv5(s)、YOLOv5(l)和YOLOv7都能識(shí)別出所有彈孔,但光照略微復(fù)雜的傍晚與正午環(huán)境,YOLOv5(s)容易出現(xiàn)不同程度的漏檢,而本文中網(wǎng)絡(luò)能夠保持與YOLOv7、YOLOv5(l)的識(shí)別精度,都能全面識(shí)別,符合評(píng)估結(jié)果。

圖14展現(xiàn)了改進(jìn)后模型在復(fù)雜陰影和遮擋條件下分割精度與識(shí)別精度的對(duì)比試驗(yàn)圖。因?yàn)榄h(huán)境更為復(fù)雜,所以只保留精度最高的YOLOv5(s)、YOLOv7網(wǎng)絡(luò)對(duì)比識(shí)別精度,Deeplabv3+對(duì)比分割精度。由圖可知,陰影對(duì)分割精度影響很大:對(duì)于遮擋小彈孔,Deeplabv3+易將樹(shù)葉錯(cuò)誤分割成彈孔,如圖14(b)所示;對(duì)于位置相近的多彈孔,Deeplabv3+容易識(shí)別成單個(gè)目標(biāo),無(wú)法分割正確輪廓,如圖14(a)、圖14(c)所示。

在識(shí)別精度方面,不同網(wǎng)絡(luò)存在著不同程度的漏檢或誤檢。YOLOv5(l)只在單一陰影條件下識(shí)別效果良好,如圖圖14 (a),一旦陰影復(fù)雜就極易出現(xiàn)漏檢,在圖14 (b)中10個(gè)彈孔漏檢1個(gè)識(shí)別9個(gè),圖14 (c)中將2個(gè)彈孔識(shí)別成1個(gè),出現(xiàn)誤檢。YOLOv7在只有陰影的圖14 (a)中識(shí)別效果不錯(cuò),但在圖14 (b)中只識(shí)別出8個(gè)彈孔,漏檢2個(gè),在圖14 (c)中相連的2個(gè)彈孔只識(shí)別出1個(gè),漏檢1個(gè)。而本文算法在3種復(fù)雜情景都有較好的表現(xiàn),彈孔全部識(shí)別成功,兼顧分割精度與識(shí)別準(zhǔn)確率,由此可見(jiàn)在復(fù)雜環(huán)境中具有一定優(yōu)勢(shì)。

圖13 不同網(wǎng)絡(luò)在3種光照下的識(shí)別對(duì)比圖

圖14 不同網(wǎng)絡(luò)在復(fù)雜陰影情況下的識(shí)別對(duì)比圖

5 結(jié)論

1) 針對(duì)野外訓(xùn)練的復(fù)雜環(huán)境下,靶面彈孔難以高效被識(shí)別的問(wèn)題,提出同時(shí)融合目標(biāo)檢測(cè)與語(yǔ)義分割的彈孔分割網(wǎng)絡(luò),利用多任務(wù)訓(xùn)練提升特征層對(duì)復(fù)雜環(huán)境彈孔小目標(biāo)的識(shí)別精度與分割精度,降低模型運(yùn)算量,滿足實(shí)時(shí)性需求。

2) 模型以YOLOv5主干網(wǎng)絡(luò)為基礎(chǔ),融合分割模塊,調(diào)整輸出尺度,增加針對(duì)極小目標(biāo)的預(yù)測(cè)層,并結(jié)合解耦思想,提高模型檢測(cè)精度。算法在驗(yàn)證集下的精度為92.42%,FPS達(dá)到25.15幀/s。

3) 通過(guò)對(duì)比實(shí)驗(yàn)可知,本文中模型無(wú)論是在復(fù)雜陰影或光照條件下,都可以識(shí)別所有彈孔痕跡,極少出現(xiàn)漏檢或誤檢情況,相比其他網(wǎng)絡(luò)模型,本文中算法在保持高精度識(shí)別條件的情況下,顯著提升了網(wǎng)絡(luò)的運(yùn)算速度,滿足了實(shí)際訓(xùn)練中精確度與實(shí)時(shí)性要求,擁有較好的綜合性能。