基于YOLOv5的紅外目標檢測算法*

林 健，張巍巍，張 凱，楊 堯

（1.西北工業(yè)大學 無人系統(tǒng)技術研究院·西安·710000；2.上海航天控制技術研究所·上?！?01109）

0 引 言

目標檢測是機器視覺領域最具挑戰(zhàn)性的任務之一，在現(xiàn)實世界中有著深遠的意義。在自動駕駛、導航制導等任務中，要求檢測算法能夠在各種照明和環(huán)境條件（包括白天、夜間、雨中、霧中等）下都具有魯棒性。然而在這些情況下，基于可見光的系統(tǒng)一般無法發(fā)揮作用，導致上述任務無法完成，紅外成像系統(tǒng)通過接收目標的熱輻射成像，對復雜天氣、光照情況有較強的適應性，可以全天候工作，探測距離遠。同時相較于可見光數(shù)據(jù)的采集，紅外數(shù)據(jù)擁有更強的隱私保護性，在當前人們對隱私保護越來越重視的背景下，足以獲得更多的學習數(shù)據(jù)，用于優(yōu)化模型。

紅外成像系統(tǒng)具有上述全天候、遠距離、抗干擾的特性，被廣泛地應用在民用、軍用領域。雖然紅外目標檢測跟蹤算法的需求日益增長，但是紅外圖像普遍存在紋理信息差、低分辨率、高噪聲的特點，對目標原有的灰度信息破壞嚴重，給紅外目標檢測算法帶來嚴峻挑戰(zhàn)。經(jīng)典的目標檢測算法模板匹配、HOG-SVM，以及當前主流的深度學習算法等，在設計之初都是針對可見光圖像，在目標細節(jié)、特征明顯的RGB圖像上可以獲得較好的性能，但在紅外圖像目標檢測上，算法性能均有不同程度下降。

基于深度學習的目標檢測算法——YOLO，在學術界和工業(yè)界都取得了許多顯著的成果，下面簡要介紹YOLO系列算法的發(fā)展歷程。J.Redmon等在2015年6月提出了YOLOv1算法，該算法不僅具有良好的識別性能，而且具有較高的實時性。此外，該算法具有良好的泛化能力，易于訓練，收斂速度較快。在接下來的5年里，YOLO算法得到了更新，5個版本融合了目標檢測社區(qū)的許多創(chuàng)新想法。在前3個版本中，YOLOv3是一個里程碑，通過引入多尺度特征（Feature Pyramid Networks，F(xiàn)PN）、更好的骨干網(wǎng)絡（Darknet53）以及將Softmax分類損失函數(shù)替換為Logic損失函數(shù)，在性能和速度方面取得了較大改進。2020年初，在原YOLO作者從研究領域離開之后，YOLOv4由不同的研究團隊發(fā)布。YOLOv4團隊對YOLO算法的幾乎所有方面進行了探索，改進了主干網(wǎng)絡，以及提出了很多在目標檢測領域實用的技巧。YOLOv4在Tesla V100上以65 FPS的實時速度實現(xiàn)了MSCOCO數(shù)據(jù)集65.7%的平均準確率。1個月后，另一個不同的研究團隊發(fā)布了YOLOv5，該算法具有更小的模型尺寸、更快的速度、與YOLOv4相似的性能，以及在Python中的完整實現(xiàn)，使得YOLOv5在目標檢測社區(qū)得到了廣泛關注。

為解決紅外圖像普遍存在的紋理信息差、低分辨率、高噪聲帶來的檢測難題，本文改進了YOLOv5算法的特征提取網(wǎng)絡，選擇了具有殘差特性的ResNet50網(wǎng)絡。針對紅外場景中存在大量的小目標，避免過大采樣率導致目標被過濾，改進了YOLOv5檢測頭方案，使用了更為密集的特征融合網(wǎng)絡提升檢測效果。本文的主要工作如下：

1）構建了基于ResNet50的骨干特征提取網(wǎng)絡，改進了YOLOv5的3個檢測頭方案，增加了下樣率為4的檢測頭。

2）重新設計了特征融合網(wǎng)絡，提出了一個Detection Block模塊，提升了紅外目標的檢測能力，同時獲得了較小的模型參數(shù)。

3）在FLIR紅外自動駕駛數(shù)據(jù)集上，相比原始的YOLOv5m模型，在平均精度上提升4%。

1 算法描述

本文提出了一種基于YOLOv5的紅外目標檢測算法（Target Detection Based on YOLOv5, YOLOv5-IF），具體結構如圖1所示。本文所提算法和現(xiàn)有的大多數(shù)目標檢測算法一致，結構上分為三部分：特征提取（Backbone），特征整合（Neck），檢測頭（Head）。輸入的紅外圖像，經(jīng)過特征提取網(wǎng)絡得到目標不同尺度上的語義信息，并將特征圖（FeatureMap）劃分為不同大小的網(wǎng)格。同時，紅外圖像經(jīng)過特征提取網(wǎng)絡之后，特征信息被映射在不同尺度的特征圖上，紅外圖像中存在大量的小目標，而過大的采樣率會導致目標特征經(jīng)多次采樣之后難以在特征圖上體現(xiàn)。出于這方面的考慮，增加了下采樣率為4的特征輸出。在Neck部分將前一級得到的特征信息進一步加工處理，利用FPN和路徑聚合網(wǎng)絡（Path Aggregation Network，PAN）實現(xiàn)不同尺度特征信息的融合。網(wǎng)絡的最后一部分為Head，即輸出預測部分，利用卷積層得到前級特征圖上每一網(wǎng)格內包含目標信息（目標位置，置信度）的預測值。這些預測值為事先設定的錨框的調整參數(shù)，在后處理部分根據(jù)網(wǎng)絡的輸出信息對預先設定的錨框做相應的調整，最后通過非極大抑制（Non-Maximum Suppression，NMS）操作得到最可能包含目標的預測框。

圖1 YOLOv5-IF算法總體框圖Fig.1 The architecture of YOLOv5-IF

1.1 YOLOv5算法

這一部分簡要分析YOLOv5算法的改進之處，以及YOLOv5算法在解決紅外圖像識別上存在的問題。

（1）YOLOv5改進點：

基于錨框目標檢測算法的先天不足，導致了正負樣本不均衡，為了緩解這種缺陷帶來的問題，研究者提出了Focal LOSS等算法。YOLOv5在算法設計時提供了另一種解決思路，通過采用跨鄰域網(wǎng)格匹配，有效增加了正樣本數(shù)量，使得YOLOv5算法整體的精度得到了巨大提升，具體邊界框回歸公式為式（1），式（2）為YOLOv2、v3、v4回歸公式。

（1）

（2）

式中，、、、為目標真實的中心點坐標以及寬高；、為目標中心所屬網(wǎng)格的左上角坐標值；、為預設錨框的寬高值；、、、為算法輸出的錨框的中心點及寬高的調整值；為Sigmoid函數(shù)。

（2）不足之處：

Focus模塊：YOLOv5創(chuàng)新性地引入了一個全新的模塊Focus，具體的實現(xiàn)流程為：將特征圖切分為4份，每份數(shù)據(jù)量都是相當于2倍下采樣得到的，然后在通道維度進行拼接。這種操作可以在不增加計算量的同時使得特征圖減半，通道增加4倍。相比采用最大池化或步長為2的卷積操作，F(xiàn)ocus模塊帶來的計算量更小，對YOLOv5的快速推理起到了重要作用。然而，由于Focus會造成圖像上的空洞，這種操作必然會導致圖像信息的丟失，對于紅外圖像中的小目標檢測是不利的, 因此在本文中拋棄了這種結構。

SPP模塊：YOLOv4中提出了一個全新的SPP，在經(jīng)典的SPP模塊中，特征地圖在進行多尺度最大池化之后被轉換為一維向量。新的SPP將3個尺寸為××5124的特征圖分別使用∈（5，9，13）的池化核池化，再將輸入特征圖與池化后的特征圖相連形成××2048的特征圖。有效避免了在3個尺度最大池化的情況下丟失圖像的重要特征，輸入不僅提取了使訓練更容易的重要特征，而且保持了空間維度。大量的實驗證明，SPP模塊能有效提升可見光圖像的檢測率，因此這種結構在YOLOv5中也被保留了下來。Qi D.等提出了針對小目標可采用較小的池化核，然而在針對紅外圖像的測試中，不論是原始的池化核還是采用較小的池化核，對于檢測結果都沒有提升，因此在本文中拋棄了這種結構。

1.2 YOLOv5-IF算法

基于上述分析，本文針對YOLOv5算法在解決紅外目標識別方面的不足，提出了一種改進的YOLOv5-IF算法。原始的YOLOv5中，沿用了YOLOv3版本中的骨干網(wǎng)絡CSPDarkNet53作為特征提取網(wǎng)絡, CSP 跨階段連接受殘差連接啟發(fā)，在不同層之間實現(xiàn)特征復用，在實際測試中發(fā)現(xiàn)CSPDarkNet53并不能很好地提升紅外圖像中目標的特征信息?；跉埐钸B接的ResNet網(wǎng)絡可以解決深層模型梯度消失的問題，同時加入了一定的正則項可以加速模型收斂，一定程度上也減少了模型參數(shù)。針對紅外圖像存在的分辨率低、細節(jié)特征不明顯、高噪聲等問題，本文選擇ResNet50作為特征提取網(wǎng)絡。

為了提升算法對紅外小目標的檢測能力，本文在骨干網(wǎng)絡上增加了4倍下采樣的特征圖，即輸入圖像為416×416時，對應特征圖大小為104×104，依舊采用每個網(wǎng)格生成3個先驗錨框的策略。這種情況下，會給輸出增加104×104×3=32448個預測結果，相比原始的（13×13×3+26×26×3+52×52×3=10647）增加了3倍之多。為了解決這一問題，必然需要一個輕量高效的Neck。本文將Neck部分拆分為FPN和PAN兩部分，具體結構如圖2所示。圖中（∈（2,3,4,5））為骨干網(wǎng)絡輸出的不同下采樣倍率的特征圖，上采樣通過線性插值實現(xiàn)，特征疊加則是在通道維度上合并特征圖，卷積操作均為1×1卷積用于調節(jié)特征圖通道，Head（∈（1,2,3,4））對應不同尺度的檢測頭，同時替換原始的CSPBottleNet為更高效的Detection Block，在不影響模型精度的情況下，極大縮減了模型規(guī)模，結構如圖3所示。

（a） FPN模塊網(wǎng)絡結構

（b） PAN模塊網(wǎng)絡結構圖2 Neck模塊網(wǎng)絡結構Fig.2 Neck module network structure

圖3 Detection Block模塊Fig.3 Detection Block module

Detection Block設計之初就是為了得到一個輕量化的網(wǎng)絡，同時能夠有效融合紅外目標的特征，將目標從背景中凸顯出來，如圖3所示。具體實現(xiàn)流程為：對輸入的特征圖通過兩個卷積實現(xiàn)通道減半，其中一側首先會經(jīng)過一個卷積和Leak Relu激活函數(shù)，接著通過兩個堆疊的Conv Block模塊，該模塊使用了卷積加深度可分離卷積的配置，如圖4所示，借助深度可分離卷積，在保證不影響感受野的同時，極大減小了模型參數(shù)，其中卷積核大小為3，步長為2；另一側則采用了卷積加Leak Relu激活函數(shù)的配置，形成了一個殘差連接。

圖4 Conv Block模塊Fig.4 Conv Block module

本文在骨干網(wǎng)絡上增加了一個輸出，對應4倍下采樣的特征圖，經(jīng)過上述的Neck部分融合，最終得到預期的4檢測頭檢測結構，有效提升了紅外弱小目標的檢測能力。

4倍下采樣的檢測頭能夠輸出細粒度更高的特征圖，并準確保留紅外圖像上的小目標特征信息。各個檢測頭的輸出可視化如圖5所示，將各個檢測頭輸出得分和類別融合后，可以看到更高細粒度的檢測頭能關注到圖像中的弱小目標。

圖5 檢測頭熱圖Fig.5 Heat map of detection head

2 實驗及結果分析

2.1 實驗設置及評價指標

本文使用FLIR提供的紅外場景數(shù)據(jù)集。該數(shù)據(jù)集是在美國加利福尼亞州圣塔芭芭拉市的街道和高速公路上拍攝的，包括從5月～11月不同時間的各種天氣變化，例如霧和雨。圖像的背景包括城市、山脈、隧道、樹木、建筑物等，背景比較復雜。訓練集共包含7659幅紅外場景圖像，采用COCO數(shù)據(jù)格式進行標注。類別包括人、自行車、汽車和狗。本次實驗僅選取人、自行車、汽車作為檢測目標，其中行人22356個、自行車3986輛、汽車41247輛，共67589個目標，圖6展示了不同類別的目標占比分布。測試集包含1360幅紅外場景圖像，包括5579個行人、471輛自行車、5432輛汽車，共計11482個目標。數(shù)據(jù)集的目標尺度分布如圖7所示，其中目標的寬高比為目標高/寬與圖像高/寬的比值。由圖8可見，數(shù)據(jù)集中包含了大量小目標，同時場景中目標的模糊程度不同，增加了檢測的難度。

圖6 目標占比分布Fig.6 Target proportion distribution

圖7 目標尺度分布圖Fig.7 Target scale distribution map

圖8 部分數(shù)據(jù)集樣例Fig.8 Part of the sample datasets

網(wǎng)絡訓練時采用了如下配置：Batch-Size為16，采用Adam優(yōu)化器，初始學習速率為0.01，訓練數(shù)據(jù)和測試數(shù)據(jù)均采用FLIR提供的訓練和驗證集。使用YOLOv5提供的數(shù)據(jù)增強策略，采用NVIDIAGTFORCE 1080TI顯卡，pytorch 1.8深度學習框架，操作系統(tǒng)為Ubuntu20.04，共訓練100個Epoch。對數(shù)據(jù)集采用K-means聚類算法得到了4組錨框，分別為：[9,10,10,19,17,14],[13,29,26,21,18,44],[40,31,30,70,60,45],[92,66,55,120,142,105]。

本文通過平均準確率（mean Average Precision，mAP），即各個類別的平均值（Average Precision，AP）來評價算法的性能，在計算mAP之前首先需要計算查準率（Precision）和召回率（Recall）。查準率是實際是正樣本且模型預測也是正樣本數(shù)量與模型所有預測的正樣本數(shù)量的比值。令代表實際的正樣本，模型預測也是正樣本的數(shù)量;代表實際的負樣本，但預測是正樣本的數(shù)量。計算精度的公式為

（3）

召回率是實際為正且正確預測的樣本數(shù)量與所有實際為正樣本的數(shù)量之比。令代表實際的正樣本但模型預測的是負樣本，召回率的公式為

（4）

AP的計算公式如下

（5）

mAP就是不同種類的AP求平均值，mAP0.5表示預測框與真值框的交并比（Intersection-over-Union，IoU）大于等于0.5情況下準確預測的概率；mAP 0.5 0.95表示預測框與真值框的IoU大于等于0.5小于等于0.95情況下準確預測的概率均值。

YOLOv5的損失函數(shù)包括：分類損失（classification loss）、定位損失（ localization loss）（預測邊界框與真實框之間的誤差）、置信度損失（confid-ence loss）。因此，總的損失函數(shù)為： classification loss+localization loss+confidence loss。YOLOv5使用二元交叉熵損失函數(shù)計算類別概率和目標置信度得分的損失。圖9和圖10分別展示了訓練過程中各種損失（loss）和評價指標的變化趨勢。

圖9 Loss變化曲線Fig.9 Loss curve

圖10 評價指標變化曲線Fig.10 Curve of evaluation

2.2 消融實驗

為了驗證所提的4檢測頭方案、Detection Block，設計了如下消融實驗。如表1所示，√表示當前網(wǎng)絡中包含此模塊或改進，×表示當前網(wǎng)絡中不包含此模塊，↑表示該指標越大越好，↓表示該指標越小越好，紅色代表算法表現(xiàn)最佳，藍色表示算法表現(xiàn)最差。使用mAP和模型參量作為評價指標。模型的訓練參數(shù)配置參照2.1節(jié)的實驗設置。

正如表1所示，僅僅在模型上增加輸出對YOLOv5m的檢測精度并無明顯提升。同時由于在骨干網(wǎng)絡上增加輸出，導致輸出結果增加3倍之多，使得模型的檢測速度下降。因此，替換了原始的CSPDarkNet53，采用ResNet50作為特征提取網(wǎng)絡，使得檢測精度和推理速度得到了提升。由表1可見，Detection Block模塊的加入不僅使得模型精度提升，而且模型規(guī)模得到了縮減，這對于后續(xù)部署模型工業(yè)化應用是十分有利的。

表1 消融實驗Tab.1 Ablation experiments

圖11展示了消融實驗中不同模塊的檢測效果圖，分別是小目標、行人遮擋、多尺度變化等場景, 可以看到V5-IF（圖中綠色框線算法）相比其他算法出現(xiàn)誤檢的情況最少。

圖11 消融實驗效果圖Fig.11 Effect of ablation experiment

2.3 對比實驗

選取了當前主流的目標檢測算法CenterNet、SSD、EfficientDet、YOLOv5m、Faster R-CNN，在FLIR數(shù)據(jù)集上進行測試，對比結果如表2所示。以上算法均訓練100Epoch，紅色、藍色分別對應算法結果最優(yōu)和次優(yōu)，F(xiàn)PS為每秒處理圖像幀數(shù)。

表2 SOTA算法對比結果圖Tab.2 Comparison results of SOTA methods

如表2所示，改進的YOLOv5-IF算法相比最新的YOLOv5m算法能夠保證一定運行實時性，同時在mAP檢測精度上提升了4%，模型參數(shù)量減少了68%。基于Anchor-Free的CenterNet使用了ResNet50作為特征提取網(wǎng)絡，但在模型規(guī)模和檢測精度上都不及YOLOv5-IF。SSD算法中引入了多尺度檢測頭，但是沒有加入FPN和PANet，因此沒有實現(xiàn)尺度融合，檢測效率也表現(xiàn)一般。兩階段的目標檢測算法Faster R-CNN，在推理速度上明顯低于其他算法。

3 結 論

本文針對通用目標檢測算法在紅外場景下的不足，考慮到紅外圖像普遍存在的低分辨率、高噪聲、低對比度以及小目標等問題，提出了一種YOLOv5-IF算法，主要創(chuàng)新點有：

1）使用了ResNet50作為骨干特征提取網(wǎng)絡，該骨干網(wǎng)絡基于殘差機制構建，實現(xiàn)了特征圖通道信息的高效交互，能夠更加有效地獲取紅外圖像中的目標信息，得到更加豐富的語義信息。同時考慮到紅外圖像中存在大量小目標的問題，在Backbone上增加了一個輸出，并由此構建了一個4檢測頭的算法，使得模型的檢測精度得到了提升。

2）考慮到模型規(guī)模對模型在邊緣移動設備部署和推理速度的影響，提出了一個高效特征整合網(wǎng)絡，通過構建Detection Block模塊，使得模型的檢測精度得到了小范圍提升，同時獲得了更小的模型規(guī)模。最后在紅外自動駕駛數(shù)據(jù)集FLIR上，與現(xiàn)有SOTA算法進行對比，本文所提算法的mAP為74%，參數(shù)量僅19.5MB，優(yōu)于現(xiàn)有的算法。

YOLOv5-IF算法在精度和參數(shù)量方面取得了較好的效果，同時也存在一些問題：由于4檢測頭的引入，輸出結果的增加導致模型的推理速度并不是最優(yōu)，如何均衡算法精度和模型推理速度是后續(xù)研究的重點方向，同時模型在邊緣設備上的部署問題也是后續(xù)的研究方向。