基于改進(jìn)YOLOv5的復(fù)雜背景紅外弱小目標(biāo)檢測(cè)算法

代 牮，趙 旭，李連鵬，劉 文，褚昕悅

基于改進(jìn)YOLOv5的復(fù)雜背景紅外弱小目標(biāo)檢測(cè)算法

代 牮，趙 旭，李連鵬，劉 文，褚昕悅

（北京信息科技大學(xué) 高動(dòng)態(tài)導(dǎo)航技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100192）

針對(duì)傳統(tǒng)算法依賴于對(duì)紅外目標(biāo)與環(huán)境背景的精確分離和信息提取，難以滿足復(fù)雜背景和噪聲等干擾因素下的檢測(cè)需求。論文提出一種基于改進(jìn)YOLOv5（You Only Look Once）的復(fù)雜背景紅外弱小目標(biāo)檢測(cè)算法。該算法在YOLOv5基礎(chǔ)上，添加注意力機(jī)制提高算法的特征提取能力和檢測(cè)效率，同時(shí)改進(jìn)原YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)的損失函數(shù)和預(yù)測(cè)框的篩選方式提高算法對(duì)紅外弱小目標(biāo)檢測(cè)的準(zhǔn)確率。實(shí)驗(yàn)選取了來自不同復(fù)雜背景的7組紅外弱小目標(biāo)數(shù)據(jù)集，將這些圖像數(shù)據(jù)集進(jìn)行標(biāo)注并訓(xùn)練，得到紅外弱小目標(biāo)檢測(cè)模型，然后從模型訓(xùn)練結(jié)果和目標(biāo)檢測(cè)結(jié)果的角度評(píng)估算法和模型的正確性。實(shí)驗(yàn)結(jié)果表明：改進(jìn)的YOLOv5算法訓(xùn)練出來的模型，檢測(cè)準(zhǔn)確性和檢測(cè)速度對(duì)比實(shí)驗(yàn)列出的幾種目標(biāo)檢測(cè)算法均有明顯的提升，平均精度均值（mean Average Precision，mAP）可達(dá)99.6%以上，在不同復(fù)雜背景下均可有效檢測(cè)出紅外弱小目標(biāo)，且漏警率、虛警率低。

紅外弱小目標(biāo)；復(fù)雜背景；YOLOv5；注意力機(jī)制；損失函數(shù)

0 引言

在目標(biāo)檢測(cè)領(lǐng)域中，紅外弱小目標(biāo)檢測(cè)一直都是一個(gè)重要的研究熱點(diǎn)。紅外探測(cè)系統(tǒng)具有隱蔽性能好、靈敏度高、探測(cè)作用距離遠(yuǎn)、穿透大氣能力強(qiáng)、工作環(huán)境適應(yīng)性強(qiáng)等優(yōu)點(diǎn)。紅外弱小目標(biāo)的檢測(cè)作為紅外探測(cè)系統(tǒng)的一項(xiàng)關(guān)鍵技術(shù)在軍事預(yù)警、紅外制導(dǎo)、航空航天、海事搜救以及民用安全等領(lǐng)域均具有重要的研究?jī)r(jià)值[1-4]。目前針對(duì)紅外弱小目標(biāo)檢測(cè)的方法大致分為3類：空間域的方法、變換域的方法、神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)的方法[5]。

基于空間域的方法通過對(duì)圖像進(jìn)行濾波處理，實(shí)現(xiàn)背景噪聲的抑制。常見的算法有最大均值濾波、最大中值濾波、形態(tài)學(xué)濾波[6]、匹配濾波等。汪列兵等在2020年提出一種基于最大中值濾波與Hough變換的檢測(cè)方法[7]；韓金輝等在2021年提出一種基于局部對(duì)比度機(jī)制的匹配濾波方法[8]。此類基于空間域的方法工程實(shí)現(xiàn)簡(jiǎn)單，但是在復(fù)雜背景下難以達(dá)到檢測(cè)目標(biāo)的需求?；谧儞Q域的方法可以提高目標(biāo)信噪比，有效保留目標(biāo)圖像中的邊緣等信息。常見的算法有高通濾波、小波變換[9]等。馮祥等在2020年提出一種基于小波包變換的檢測(cè)方法[10]；李德新等在2021年提出一種利用DFT(Discrete Fourier Transform)變換并聯(lián)合高斯濾波計(jì)算紅外圖像差異直方圖的方法[11]。此類基于變換域的方法在平緩背景下目標(biāo)檢測(cè)效果較好，但在背景起伏比較大的復(fù)雜背景下檢測(cè)目標(biāo)效果差，難以達(dá)到檢測(cè)實(shí)際需求。

然而，以上基于空間域和變換域的目標(biāo)檢測(cè)方法往往通過人工設(shè)計(jì)提取特征，需要結(jié)合大量的專業(yè)知識(shí)和經(jīng)驗(yàn)，難以一次做到全面考慮。其次，不同的特征提取算法往往只注重某一方面的信息，同時(shí)缺乏高層語義信息，這對(duì)簡(jiǎn)單背景目標(biāo)場(chǎng)景下的目標(biāo)檢測(cè)能發(fā)揮一定的作用，但當(dāng)紅外弱小目標(biāo)處于復(fù)雜背景下時(shí)，以上檢測(cè)方法效果并不理想。盡管可以通過不同的特征提取算法進(jìn)行約束構(gòu)建組合特征，一定程度上能夠提升對(duì)目標(biāo)特征的表達(dá)能力，但這會(huì)導(dǎo)致系統(tǒng)的計(jì)算量增大。

而基于神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)的方法擁有強(qiáng)大特征提取能力，且無需大量的人為特征提取的設(shè)計(jì)，能有效解決人工設(shè)計(jì)提取特征帶來的局限性，提高目標(biāo)檢測(cè)性能，達(dá)到較高的檢測(cè)準(zhǔn)確率。當(dāng)前主流用在復(fù)雜背景下紅外弱小目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)方法分為兩類。一類是雙階段目標(biāo)檢測(cè)算法：主要包括由Girshick等人在2014年提出的R-CNN（Region-CNN）算法[12]；Girshick R在2015年提出的Fast R-CNN算法[13]；以及2016年由Ren S提出的Faster R-CNN算法[14]。雙階段目標(biāo)檢測(cè)算法是基于區(qū)域候選的目標(biāo)檢測(cè)方法，分為候選區(qū)域預(yù)測(cè)和候選區(qū)域鑒別兩個(gè)部分，這大大增加了目標(biāo)檢測(cè)的準(zhǔn)確率，但帶來的問題是計(jì)算量過大，導(dǎo)致其實(shí)時(shí)性差。另一類是單階段目標(biāo)檢測(cè)算法：主要包括由Redmon等在2016年提出的YOLO算法，能夠?qū)⒛繕?biāo)檢測(cè)的分類和定位用一個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)[15]。Liu W等在2016年提出的SSD算法[16]，其增加的多尺度特征提取一定程度上解決了YOLO算法對(duì)小目標(biāo)檢測(cè)不敏感的問題。而經(jīng)過不斷的發(fā)展與改進(jìn)，2020年YOLOv5算法被提出，該算法不僅繼承以前系列算法的優(yōu)勢(shì)，同時(shí)極大簡(jiǎn)化了模型，在保證高準(zhǔn)確率的同時(shí)提高檢測(cè)速度，引領(lǐng)著目標(biāo)檢測(cè)領(lǐng)域潮流。針對(duì)紅外弱小目標(biāo)的檢測(cè)需要較高檢測(cè)準(zhǔn)確率和檢測(cè)速度的實(shí)際情況，本文在YOLOv5算法上改進(jìn)，并最終從模型訓(xùn)練結(jié)果和目標(biāo)檢測(cè)結(jié)果的角度評(píng)估算法和模型的正確性。

1 YOLOv5網(wǎng)絡(luò)模型介紹

YOLOv5網(wǎng)絡(luò)模型主要分為以下4個(gè)模塊：輸入端Input、主干網(wǎng)絡(luò)Backbone、Neck網(wǎng)絡(luò)和預(yù)測(cè)端Prediction[17]。輸入端Input包括Mosaic數(shù)據(jù)增強(qiáng)、圖片尺寸縮放和自適應(yīng)錨框計(jì)算[17]。主干網(wǎng)絡(luò)Backbone包括Focus處理、CBL處理、CSP結(jié)構(gòu)和SPP空間金字塔池化等。具體如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)模型

1.1 輸入端

1）Mosaic數(shù)據(jù)增強(qiáng)

Mosaic數(shù)據(jù)增強(qiáng)針對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行處理，隨機(jī)選取4張訓(xùn)練集的圖片進(jìn)行隨機(jī)縮放、隨機(jī)排布以及隨機(jī)裁剪，最后進(jìn)行圖像的拼接[16]。以此豐富訓(xùn)練集數(shù)據(jù)，加強(qiáng)算法泛化能力，適用于本文紅外弱小目標(biāo)的檢測(cè)。

2）圖片尺寸縮放

YOLO算法都需要將輸入圖像尺寸變換成固定大小。而YOLOv5算法自適應(yīng)地對(duì)圖像兩端添加最少的黑邊，以此將輸入圖像的尺寸變換成固定的大小，再送入神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練。這種處理方法能有效解決填充過多導(dǎo)致圖像信息冗余，影響推理速度的問題。

3）自適應(yīng)錨框計(jì)算

在神經(jīng)網(wǎng)絡(luò)開始訓(xùn)練前，需要設(shè)定初始的錨框。YOLOv5算法自適應(yīng)地設(shè)定初始錨框，在此基礎(chǔ)上輸出預(yù)測(cè)框，并與真實(shí)框進(jìn)行比較，根據(jù)兩者差值進(jìn)行反向更新，進(jìn)而調(diào)整網(wǎng)絡(luò)參數(shù)，降低損失函數(shù)。

1.2 主干網(wǎng)絡(luò)Backbone

1）Focus處理

Focus處理為切片操作，目的是為了使特征圖在每一個(gè)特征信息沒有變化的前提下增加圖像的特征數(shù)。假設(shè)原始輸入圖像為608×608×3。通過切片操作，變成304×304×12的特征圖。最后經(jīng)過一次32個(gè)卷積核的卷積操作，變成304×304×32的特征圖。

2）CBL層

Focus處理后的圖像經(jīng)過CBL層，即先經(jīng)過卷積層得到輸入的不同特征。然后經(jīng)過BN層，對(duì)所有的批處理數(shù)據(jù)進(jìn)行規(guī)范化，實(shí)現(xiàn)結(jié)果的歸一化。最后使用激活函數(shù)leaky_relu[18]處理結(jié)果到下一層的卷積中。

3）CSP結(jié)構(gòu)

在YOLOv5中使用了兩種CSP結(jié)構(gòu)。主干網(wǎng)絡(luò)Backbone使用CSP1_結(jié)構(gòu)，Neck網(wǎng)絡(luò)使用CSP2_結(jié)構(gòu)[19]。其中的表示殘差組件個(gè)數(shù)。以此使得算法輕量化，在減少計(jì)算量的同時(shí)又能夠提高模型的學(xué)習(xí)能力[19]。

4）SPP空間金字塔池化

空間金字塔池化操作由3部分組成：conv、maxpooling和concat。首先進(jìn)行卷積操作提取特征輸出，然后經(jīng)過3個(gè)不同核大小的最大池化層進(jìn)行下采樣，之后將各自輸出結(jié)果進(jìn)行拼接融合并將其與初始特征相加，最后經(jīng)過卷積操作將輸出恢復(fù)到同初始輸入一致[17]。SPP層不僅大大增加了感受野，可以分離出上下文的重要特征，而且對(duì)推理速度又幾乎無影響[20]。

1.3 Neck網(wǎng)絡(luò)結(jié)構(gòu)

Neck網(wǎng)絡(luò)采用FPN（Feature Pyramid Networks）結(jié)合PAN（Path Aggregation Network）的結(jié)構(gòu)，作為網(wǎng)絡(luò)的融合部分。采用自頂向下的FPN結(jié)構(gòu)，以及自底向上的兩個(gè)PAN結(jié)構(gòu)的特征金字塔[21]。其主要用來將提取出特征進(jìn)行混合組合，并傳遞到預(yù)測(cè)層，加強(qiáng)網(wǎng)絡(luò)特征融合的能力。Neck網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Neck網(wǎng)絡(luò)結(jié)構(gòu)

1.4 預(yù)測(cè)端Prediction

YOLOv5采用GIOU_Loss作為損失函數(shù)，同時(shí)通過非極大值抑制NMS來篩選目標(biāo)框[22]。

如圖3所示，實(shí)線框表示目標(biāo)真實(shí)框，虛線框表示預(yù)測(cè)框，表示兩個(gè)框之間的交集，表示兩個(gè)框之間的并集，而交并比IOU為交集與并集之比。則IOU計(jì)算公式如下：

如圖4所示，設(shè)目標(biāo)真實(shí)框、預(yù)測(cè)框的最小外接矩形為；為與并集的差集，則GIOU（Generalized Intersection Over Union）計(jì)算公式如下：

而作為損失函數(shù)即：

2 改進(jìn)YOLOv5目標(biāo)檢測(cè)算法

如圖5所示，針對(duì)紅外弱小目標(biāo)的檢測(cè)需要較高檢測(cè)準(zhǔn)確率和檢測(cè)速度的實(shí)際情況，本文以YOLOv5算法為基礎(chǔ)，在此基礎(chǔ)上進(jìn)行改進(jìn)，在構(gòu)建的YOLOv5神經(jīng)網(wǎng)絡(luò)模型主干網(wǎng)絡(luò)Backbone中添加注意力機(jī)制提高模型的特征提取能力和檢測(cè)效率。改進(jìn)預(yù)測(cè)端Prediction中的損失函數(shù)和預(yù)測(cè)框篩選方法，提高紅外弱小目標(biāo)檢測(cè)準(zhǔn)確率。

圖4 GIOU示意圖

圖5 改進(jìn)YOLOv5目標(biāo)檢測(cè)算法

2.1 改進(jìn)注意力機(jī)制SE模塊

在YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中添加注意力機(jī)制是為了提高模型的特征提取能力和檢測(cè)精度，根據(jù)紅外弱小目標(biāo)較小的特點(diǎn)，進(jìn)一步的優(yōu)化特征融合層以及多尺度檢測(cè)層的特征尺度，使得訓(xùn)練出來的檢測(cè)模型能夠更好地適應(yīng)小目標(biāo)的檢測(cè)，同時(shí)提高模型的檢測(cè)速度。

本改進(jìn)算法添加注意力機(jī)制SE模塊，該模塊操作分為3個(gè)階段：首先對(duì)輸入特征圖(,,)進(jìn)行全局池化，池化的尺寸為(,)，輸出(1×1×)大小的特征圖；隨后經(jīng)過兩個(gè)全連接層，分別為/12個(gè)神經(jīng)元以及個(gè)神經(jīng)元以增加非線性因子；最后經(jīng)過Sigmoid激活函數(shù)輸出(1×1×)大小的權(quán)重因子，利用該權(quán)重因子對(duì)原始特征圖(,,)各通道進(jìn)行乘積，最終能夠輸出不同比重通道的特征圖。具體如圖6所示。

圖6 注意力機(jī)制SE模塊

2.2 改進(jìn)的損失函數(shù)CIOU_Loss

如圖7所示，GIOU_Loss算法雖然解決了兩個(gè)框沒有交集的情況下無法反應(yīng)兩個(gè)框距離的遠(yuǎn)近的問題，但當(dāng)預(yù)測(cè)框在目標(biāo)真實(shí)框內(nèi)時(shí)，無法判別預(yù)測(cè)框的位置[23]。其中實(shí)線框表示目標(biāo)真實(shí)框，虛線框表示預(yù)測(cè)框。

圖7 GIOU無法識(shí)別預(yù)測(cè)框位置圖

因此本文改用CIOU_Loss（Complete Intersection Over Union_Loss）算法。該損失函數(shù)不僅考慮兩個(gè)框距離遠(yuǎn)近的問題，而且考慮框的寬高比信息，可以有效解決GIOU_Loss算法存在的問題。具體計(jì)算方法如下。

如圖8所示，設(shè)最小外接矩形的對(duì)角線為，目標(biāo)真實(shí)框和預(yù)測(cè)框中心點(diǎn)距離為，則CIOU-Loss計(jì)算公式如下：

式中：是表征目標(biāo)預(yù)測(cè)框長寬比一致性的參數(shù)，計(jì)算公式如下：

式中：wgt、hgt表示目標(biāo)真實(shí)框的寬和高；wp、hp表示預(yù)測(cè)框的寬和高[24]。

2.3 改進(jìn)的預(yù)測(cè)框篩選方式DIOU_NMS

在YOLOv5算法中采用普通的NMS的方式，該方式利用交并比IOU抑制冗余的預(yù)測(cè)框。重疊區(qū)域?yàn)槲ㄒ慌袛嘁蛩兀瑢?dǎo)致遮擋情況下會(huì)存在錯(cuò)誤抑制。而在本文中所采用的DIOU_NMS（Distance Intersection Over Union_Non Maximum Suppression）非極大值抑制，將DIOU作為抑制的準(zhǔn)則，不僅考慮重疊區(qū)域的影響，而且考慮兩個(gè)框的中心距離信息，可以提高重疊和被遮擋目標(biāo)檢測(cè)精度，使得預(yù)測(cè)結(jié)果更加合理和準(zhǔn)確。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集準(zhǔn)備

訓(xùn)練集圖像采用labelimg工具進(jìn)行標(biāo)注，共使用7組不同復(fù)雜背景下的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分比例為7:2:1。具體實(shí)驗(yàn)數(shù)據(jù)集劃分如表1所示。

表1 紅外圖像數(shù)據(jù)劃分

訓(xùn)練集數(shù)據(jù)標(biāo)注如圖9所示。

為了能夠驗(yàn)證算法的有效性，采用紅外弱小目標(biāo)數(shù)據(jù)集7組分辨率為256×256像素的紅外弱小目標(biāo)圖像。data1是近距離，單個(gè)目標(biāo)，空地交界背景下目標(biāo)圖像數(shù)據(jù)集。data2是近距離，兩個(gè)目標(biāo)，天空背景下，交叉飛行的目標(biāo)圖像數(shù)據(jù)集。data3是目標(biāo)由遠(yuǎn)及近，單個(gè)目標(biāo)，地面背景為林地的目標(biāo)圖像數(shù)據(jù)集。data4是目標(biāo)由近及遠(yuǎn)，單個(gè)目標(biāo)，地面背景為林地的目標(biāo)圖像數(shù)據(jù)集。data5是單個(gè)目標(biāo)，目標(biāo)機(jī)動(dòng)，地面背景為森林的目標(biāo)圖像數(shù)據(jù)集。data6是目標(biāo)由遠(yuǎn)及近，單個(gè)目標(biāo)，目標(biāo)機(jī)動(dòng)，地面背景為森林的目標(biāo)圖像數(shù)據(jù)集。data7是單個(gè)目標(biāo)，目標(biāo)機(jī)動(dòng)，地面背景為山丘的目標(biāo)圖像數(shù)據(jù)集。

圖9 訓(xùn)練數(shù)據(jù)集標(biāo)注

3.2 訓(xùn)練環(huán)境及參數(shù)配置

本實(shí)驗(yàn)在深度學(xué)習(xí)框架Pytorch上搭載，在ubuntu16.04上運(yùn)行，具體配置如表2所示。

表2 訓(xùn)練環(huán)境配置

本實(shí)驗(yàn)采用YOLOv5s模型進(jìn)行訓(xùn)練，訓(xùn)練批次batch size設(shè)置為8，訓(xùn)練權(quán)重采用Yolov5s.pt，訓(xùn)練輪次為50，具體配置如表3所示。

表3 訓(xùn)練參數(shù)配置

3.3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)評(píng)價(jià)指標(biāo)采用準(zhǔn)確率、召回率和平均精度均值來衡量，即分別為Precision、Recall、mAP（mean average precision）。其中Precision和Recall計(jì)算公式如(7)和(8)所示：

式中：TP表示目標(biāo)為真實(shí)目標(biāo)，檢測(cè)結(jié)果為真實(shí)目標(biāo)；FP表示目標(biāo)不是真實(shí)目標(biāo)，檢測(cè)結(jié)果不是真實(shí)目標(biāo)；FN表示目標(biāo)為真實(shí)目標(biāo)，檢測(cè)結(jié)果為不是真實(shí)目標(biāo)。則本文的Precision表示在檢測(cè)出為紅外弱小目標(biāo)的樣本中有多少是真正的紅外弱小目標(biāo)，反映了檢測(cè)結(jié)果是否準(zhǔn)確的問題。Recall表示在全部的紅外弱小目標(biāo)圖像樣本中，有多少紅外弱小目標(biāo)被正確檢測(cè)出，反映了紅外弱小目標(biāo)是否齊全的問題。精度均值A(chǔ)P為以準(zhǔn)確率Precision和召回率Recall所圍成的曲線面積值。mAP為學(xué)習(xí)的所有類別精度均值的平均值。mAP@0.5表示將交并比IOU設(shè)為0.5時(shí)，計(jì)算每一類的所有圖像數(shù)據(jù)集的AP，然后所有類別求平均的值。

訓(xùn)練出模型準(zhǔn)確率、召回率和平均精度均值如圖10、圖11和圖12所示。從圖10和圖11可以看出，在訓(xùn)練大約20個(gè)epoch之后，目標(biāo)檢測(cè)準(zhǔn)確率和召回率趨于穩(wěn)定。而此時(shí)從圖12可以看出，由目標(biāo)檢測(cè)準(zhǔn)確率和召回率決定的平均精度均值也趨于穩(wěn)定，驗(yàn)證了算法模型的準(zhǔn)確性。同時(shí)訓(xùn)練過程中的損失函數(shù)迭代過程如圖13所示。可以看到在大約25個(gè)epoch之后，損失函數(shù)CIOU_Loss降低到0.05以下，驗(yàn)證了算法模型收斂的快速性。

圖10 目標(biāo)檢測(cè)準(zhǔn)確率

圖11 目標(biāo)檢測(cè)召回率

圖12 平均精度均值（mAP@0.5）

圖13 損失函數(shù)CIOU_Loss

同時(shí)為了檢驗(yàn)訓(xùn)練出目標(biāo)檢測(cè)模型的性能，實(shí)驗(yàn)對(duì)比了SSD（Single Shot MultiBox Detector，SSD）、Faster R-CNN、YOLOv3和YOLOv5等算法，采用mAP作為評(píng)價(jià)指標(biāo)，同時(shí)記錄目標(biāo)檢測(cè)模型的檢測(cè)速度，對(duì)比結(jié)果如表4所示。

由表4可以看出，本文改進(jìn)YOLOv5算法的mAP值達(dá)到了99.65%，相較于SSD、Faster R-CNN、YOLOv3、YOLOv5算法分別提高了20.77%、9.32%、2.1%、0.89%。SSD由于利用多層的特征圖作為結(jié)果輸出，導(dǎo)致網(wǎng)絡(luò)層數(shù)加深，弱小目標(biāo)特征弱化，不利于弱小目標(biāo)的檢測(cè)。Faster R-CNN由于進(jìn)行多次下采樣操作，導(dǎo)致無法對(duì)小目標(biāo)進(jìn)行有效的特征提取。YOLOv3和YOLOv5相較于前兩種方法，mAP有了明顯的提升，改進(jìn)YOLOv5則在YOLOv3和YOLOv5的基礎(chǔ)上mAP值仍有提高，且目標(biāo)檢測(cè)模型檢測(cè)每幀圖片時(shí)間更短，相對(duì)于YOLOv3和YOLOv5檢測(cè)準(zhǔn)確率有明顯提升，檢測(cè)時(shí)間明顯縮短。

表4 算法模型結(jié)果對(duì)比

為測(cè)試本文改進(jìn)YOLOv5算法檢測(cè)弱小目標(biāo)的性能，實(shí)驗(yàn)對(duì)比了本文改進(jìn)YOLOv5算法和SSD、Faster R-CNN、YOLOv3、YOLOv5算法訓(xùn)練出模型在7組數(shù)據(jù)集測(cè)試中的結(jié)果，具體如圖14所示。

從圖14檢測(cè)結(jié)果可以看到，SSD算法訓(xùn)練出來模型存在較大的漏警率，能夠檢測(cè)出空地交接背景和天空背景等背景較為單一場(chǎng)景下的紅外弱小目標(biāo)，但對(duì)森林和山丘等較為復(fù)雜背景下的紅外弱小目標(biāo)并不能檢測(cè)出來。Faster R-CNN算法因?yàn)椴捎枚啻蜗虏蓸拥牟僮鞯脑颍瑢?dǎo)致對(duì)小目標(biāo)特征無法進(jìn)行有效提取，訓(xùn)練出來模型存在虛警和漏警情況，且檢測(cè)出虛警目標(biāo)置信度較高。而YOLOv3和YOLOv5算法訓(xùn)練出來模型性能相較于SSD和Faster R-CNN算法有所改進(jìn)，但同樣存在虛警和漏警情況。而本文改進(jìn)YOLOv5算法訓(xùn)練出來模型在7組復(fù)雜背景下的紅外弱小目標(biāo)均能被有效識(shí)別出來，且準(zhǔn)確率高，虛警率低，訓(xùn)練出模型檢測(cè)判定為紅外弱小目標(biāo)的置信度在0.8左右。性能遠(yuǎn)遠(yuǎn)高于對(duì)比算法訓(xùn)練出模型。驗(yàn)證了算法和訓(xùn)練出模型的正確性和有效性。

本文改進(jìn)YOLOv5算法之所以能實(shí)現(xiàn)以上效果，首先在于給Backbone主干網(wǎng)絡(luò)中添加了注意力機(jī)制SE模塊，使得提取的紅外弱小目標(biāo)特征被賦予了不同的權(quán)重，獲得不同比重通道的特征圖，從而使得神經(jīng)網(wǎng)絡(luò)能夠有針對(duì)性的進(jìn)行訓(xùn)練。從圖13訓(xùn)練過程中損失函數(shù)迭代過程可以看出，大約訓(xùn)練25個(gè)epoch后，神經(jīng)網(wǎng)絡(luò)趨于收斂，這大大節(jié)省了網(wǎng)絡(luò)訓(xùn)練時(shí)間。其次，添加注意力機(jī)制SE模塊能夠提高訓(xùn)練出模型的針對(duì)性，并且輕量化模型，這不僅能降低虛警情況的出現(xiàn)，同時(shí)從表4可以看出，改進(jìn)YOLOv5算法訓(xùn)練出模型檢測(cè)每幀圖片速度大約為0.82s，相較于實(shí)驗(yàn)對(duì)比SSD、Faster R-CNN、YOLOv3、YOLOv5算法，檢測(cè)速度分別提高了85.86%、83.23%、66.80%、34.40%，明顯提高了訓(xùn)練出模型檢測(cè)紅外弱小目標(biāo)的實(shí)時(shí)速度。最后，從圖14檢測(cè)結(jié)果分析出，改進(jìn)的損失函數(shù)，考慮了紅外弱小目標(biāo)檢測(cè)時(shí)預(yù)測(cè)框在目標(biāo)真實(shí)框內(nèi)導(dǎo)致無法判別預(yù)測(cè)框位置的問題，相對(duì)于實(shí)驗(yàn)對(duì)比算法，降低了漏警情況的出現(xiàn)。而改進(jìn)的預(yù)測(cè)框篩選方式則可以有效避免當(dāng)出現(xiàn)兩個(gè)目標(biāo)重疊情況時(shí)漏警現(xiàn)象的出現(xiàn)。

圖14 測(cè)試集檢測(cè)結(jié)果

4 結(jié)論

綜上所述，為了解決復(fù)雜背景下傳統(tǒng)紅外弱小目標(biāo)檢測(cè)過分依賴于對(duì)紅外目標(biāo)與環(huán)境背景的精確分離和信息提取的問題，本文提出了一種基于改進(jìn)YOLOv5的復(fù)雜背景紅外弱小目標(biāo)檢測(cè)算法。該算法訓(xùn)練出目標(biāo)檢測(cè)模型經(jīng)過驗(yàn)證，在保證較高準(zhǔn)確率的同時(shí)能達(dá)到實(shí)時(shí)檢測(cè)的要求。訓(xùn)練出模型針對(duì)7種不同復(fù)雜背景，紅外弱小目標(biāo)均能有效檢測(cè)出來，且不存在漏檢和虛警的現(xiàn)象出現(xiàn)，平均精度均值達(dá)到99.6%以上，驗(yàn)證了算法和模型的正確性。下一步擬在不影響算法和模型性能的前提下繼續(xù)提高檢測(cè)速度。

[1] GAO Jinyan, GUO Yulan, LIN Zaiping, et al. Robust infrared small target detection using multiscale gray and variance difference measures[J]., 2018, 11(12): 5039-5052.

[2] XU Yongli, WANG Weihua. A method for single frame detection of infrared dim small target in complex background[J]., 2020, 1634(1): 012063.

[3] 馬銘陽, 王德江, 孫翯, 等. 基于穩(wěn)健主成分分析和多點(diǎn)恒虛警的紅外弱小目標(biāo)檢測(cè)[J]. 光學(xué)學(xué)報(bào), 2019, 39(8): 0810001.

MA Mingyang, WANG Dejiang, SUN He, et al. Infrared dim-small target detection based on robust principal component analysis and multi-point constant false alarm[J]., 2019, 39(8): 0810001.

[4] 楊其利, 周炳紅, 鄭偉, 等. 基于全卷積網(wǎng)絡(luò)的紅外弱小目標(biāo)檢測(cè)算法[J]. 紅外技術(shù), 2021, 43(4): 349-356.

YANG Qili, ZHOU Binghong, ZHENG Wei, et al. Infrared weak target detection algorithm based on full convolutional network[J]., 2021, 43(4): 349-356.

[5] 仇國慶, 楊海靜, 王艷濤, 等. 基于視覺特征融合的機(jī)載紅外弱小目標(biāo)檢測(cè)[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(18): 79-86.

QIU Guoqing, YANG Haijing, WANG Yantao, et al. Dim target detection in airborne infrared images based on visual feature fusion[J]., 2020, 57(18): 79-86.

[6] 陸福星, 李夜金, 陳忻, 等. 基于Top-hat變換的PM模型弱小目標(biāo)檢測(cè)[J]. 系統(tǒng)工程與電子技術(shù), 2018, 40(7): 1417-1422.

LU Fuxing, LI Yegin, CHEN Xin, et al. Weak target detection for PM model based on Top-hat transform[J]., 2018, 40(7): 1417-1422.

[7] 汪烈兵, 姜雄飛, 石春光, 等. 基于圖像濾波與Hough變換的紅外弱小目標(biāo)檢測(cè)[J]. 紅外技術(shù), 2020, 42(7): 683-687.

WANG Liebing, JIANG Xiongfei, SHI Chunguang, et al. Infrared small target detection based on image filtering and Hough transform[J]., 2020, 42(7): 683-687.

[8] 韓金輝, 董興浩, 蔣亞偉, 等. 基于局部對(duì)比度機(jī)制的紅外弱小目標(biāo)檢測(cè)算法[J]. 紅外技術(shù), 2021, 43(4): 357-366.

HAN Jinhui, DONG Xinjhao, JIANG Yawei, et al. Infrared small dim target detection based on local contrast mechanism[J]., 2021, 43(4): 357-366.

[9] Kaveh Ahmadi, Ezzatollah Salari. Small dim object tracking using frequency and spatial domain information[J]., 2016, 58: 227-234.

[10] 馮洋. 基于小波包變換的紅外弱小目標(biāo)檢測(cè)[J].計(jì)算機(jī)與現(xiàn)代化, 2020(12): 112-115, 122.

FENG Yang. Infrared dim small target detection based on wavelet packet transform[J]., 2020(12): 112-115, 122.

[11] 李德新, 鐘洪. 基于差異梯度直方圖與顯著性映射的紅外弱小目標(biāo)檢測(cè)算法[J]. 光學(xué)技術(shù), 2021, 47(5): 594-600.

LI Dexin, ZHONG Hong. Infrared dim small target detection algorithm based on difference histogram of oriented gradients and saliency map[J]., 2021, 47(5): 594-600.

[12] ZHANG N, Donahue J, Girshick R, et al. Part-based R-CNNs for fine-grained category detection[C]//, 2014: 834-849.

[13] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[14] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137-1149.

[15] Redmon J, Divvala S, Girshick R, et al. You Only Look Once: real-time object detection[C]//, 2016: 779-788.

[16] LIU W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//, 2016: 21-37.

[17] 楊曉玲, 江偉欣, 袁浩然. 基于Yolov5的交通標(biāo)志識(shí)別檢測(cè)[J]. 信息技術(shù)與信息化, 2021(4): 28-30.

YANG Xiaoling, JIANG Weixin, YUAN Haoran. Traffic sign recognition detection based on Yolov5[J]., 2021(4): 28-30.

[18] Lowe D G. Distinctive image features from scale invariant keypoints[J]., 2004, 60(2): 91-110.

[19] 范有臣, 馬旭, 馬淑麗, 等. 深度學(xué)習(xí)在激光干擾效果評(píng)估中的應(yīng)用[J/OL]. 紅外與激光工程, [2021-08-03]: 1-8.

FAN Youchen, MA Xu, MA Shuli et al. Evaluation method of laser jamming learning effect based on deep learning[J/OL]., [2021-08-03]: 1-8.

[20] 林清平, 張麒麟, 肖蕾. 采用改進(jìn)YOLOv5網(wǎng)絡(luò)的遙感圖像目標(biāo)識(shí)別方法[J]. 空軍預(yù)警學(xué)院學(xué)報(bào), 2021, 35(2): 117-120.

LIN Qingping, ZHANG Qilin, XIAO Lei. A remote sensing image target recognition method using improved YOLOv5 network[J]., 2021, 35(2): 117-120.

[21] 王宇寧, 龐智恒, 袁德明. 基于YOLO算法的車輛實(shí)時(shí)檢測(cè)[J].武漢理工大學(xué)學(xué)報(bào), 2016, 38(10): 41-46.

WANG Yuning, PANG Zhiheng, YUAN Deming. Vehicle detection based on YOLO in real time[J]., 2016, 38(10): 41-46.

[22] 周飛燕, 金林鵬, 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào), 2017, 40(6): 1229-1251.

ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]., 2017, 40(6): 1229-1251.

[23] ZHOU Junchi et al. Ship target detection algorithm based on improved YOLOv5[J]., 2021, 9(8): 908-908.

[24] 張宏群, 班勇苗, 郭玲玲, 等. 基于YOLOv5的遙感圖像艦船的檢測(cè)方法[J]. 電子測(cè)量技術(shù), 2021, 44(8): 87-92.

ZHANG Hongqun, BAN Yongmiao, GUO Lingling, et al. Detection method of remote sensing image ship based on YOLOv5[J]., 2021, 44(8): 87-92.

Improved YOLOv5-based Infrared Dim-small Target Detection under Complex Background

DAI Jian，ZHAO Xu，LI Lianpeng，LIU Wen，CHU Xinyue

(Beijing Key Laboratory of High Dynamic Navigation Technology, Beijing Information Science & Technology University, Beijing 100192, China)

Using the traditional algorithm to meet the detection requirements of interference factors, such as complex background and noise, relying on the precise separation and information extraction of infrared targets and environmental background, is difficult. This paper presents a dim–small target detection method for an infrared imaging algorithm based on the improved YOLOv5 for complex backgrounds. Based on YOLOv5, an attention mechanism is introduced in the algorithm to improve the feature extraction ability and detection efficiency. In addition, the loss function and prediction box screening method of the original YOLOv5 target detection network are used to improve the accuracy of the algorithm for infrared dim–small target detection. In the experiment, seven sets of infrared dim–small target image datasets with different complex backgrounds are selected, the data are labeled and trained, and an infrared dim–small target detection model is established. Finally, the accuracy of the algorithm and model is evaluated in terms of the model training and target detection results. The experimental results show that the model trained by employing the improved YOLOv5 algorithm in this study has a significant improvement in detection accuracy and speed compared with several target detection algorithms used in the experiment, and the average accuracy can reach more than 99.6%. The model can effectively detect infrared dim–small targets in different complex backgrounds, and the leakage and false alarm rates are low.

infrared dim-small target, complex backgrounds, YOLOv5, attention mechanism, loss function

TP391

A

1001-8891(2022)05-0504-09

2021-09-18；

2021-10-21.

代牮（1997-），男，碩士研究生，主要從事紅外與激光雙模復(fù)合探測(cè)技術(shù)的研究。E-mail：hbjsdj970321@163.com。

趙旭（1988-），男，博士，碩士生導(dǎo)師，清華大學(xué)訪問學(xué)者，主要從事激光紅外復(fù)合近場(chǎng)探測(cè)，導(dǎo)航制導(dǎo)與控制方面的研究。E-mail：zhaoxu@bistu.edu.cn。

國家重點(diǎn)研發(fā)計(jì)劃課題（2020YFC1511702）；國家自然科學(xué)基金（61771059）；北京學(xué)者計(jì)劃、高動(dòng)態(tài)導(dǎo)航技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室資助項(xiàng)目。