基于YOLOv7的朱鹮目標(biāo)檢測算法的研究

黃俊霖，張鵬超（通信作者），張家俊

1.陜西理工大學(xué)機械工程學(xué)院，陜西漢中，723000

2.陜西省工業(yè)自動化重點實驗室，陜西漢中，723000

0 引言

朱鹮作為瀕臨滅絕的鳥類之一，了解和掌握野生朱鹮的最新種群數(shù)量，是評估和保護朱鹮種群的重要依據(jù)[1]。由于朱鹮棲息地廣泛，生活環(huán)境復(fù)雜，傳統(tǒng)的人工巡察方法效率較低。隨著計算機技術(shù)的發(fā)展，利用移動設(shè)備和計算機視覺技術(shù)可以長期監(jiān)測朱鹮的棲息區(qū)域，因此，基于計算機視覺的方法可以有效替代人工巡察，對朱鹮的保護具有重要的意義。

然而，傳統(tǒng)目標(biāo)檢測提取的特征多為顏色、紋理、結(jié)構(gòu)等低層圖像特征，沒有充足表示位置和類別的語義信息，精度一直處于較低水平；深度學(xué)習(xí)目標(biāo)檢測算法[2]能直接從預(yù)處理后的圖像數(shù)據(jù)中自動提取特征，不再需要人工參與特征提取，且能夠?qū)W習(xí)到圖像的高級語義特征，分為兩階段檢測算法和一階段檢測算法。典型的兩階段檢測算法如R-CNN[3]、Fast-R-CNN[4]、Faster-RCNN[5]，在執(zhí)行時需要分兩步完成，先獲得候選區(qū)域，然后進行區(qū)域內(nèi)目標(biāo)分類；典型的一階段檢測算法如YOLO（You Only Look Once）系列[6-10]和SSD[11]（Single Shot Multibox Detector），可以直接預(yù)測出目標(biāo)的類別和位置信息，檢測速度較快、實時性好，但是相比于兩階段檢測算法精度較低，處理實際任務(wù)中出現(xiàn)的遮擋、漏檢等問題仍需進一步研究。本文的主要內(nèi)容如下。

（1）從漢中朱鹮國家級自然保護區(qū)拍攝部分圖像資料，同時在互聯(lián)網(wǎng)中獲取部分，并使用LabelImg軟件對圖像中朱鹮的位置進行標(biāo)注，構(gòu)建一個數(shù)據(jù)量相對充足的數(shù)據(jù)集。

（2）提出了一種基于YOLOv7[12]的小目標(biāo)檢測算法，旨在提高YOLOv7目標(biāo)檢測網(wǎng)絡(luò)的準(zhǔn)確性。首先，改進算法重新設(shè)計了預(yù)測錨框與特征融合框架，調(diào)整了頸部特征提取層的檢測尺度；接著，將協(xié)調(diào)注意力機制（Coordinate Attention，CA）融入主干網(wǎng)絡(luò)；最后，引入深度可分離卷積來輕量化整體網(wǎng)絡(luò)。

（3）設(shè)計基于自建數(shù)據(jù)集的橫向?qū)Ρ葘嶒灪涂v向消融實驗，以及基于COCO數(shù)據(jù)集的對比實驗，證明改進算法模型對實際檢測朱鹮的有效性。

1 基于YOLOv7的高性能朱鹮檢測算法

針對實際檢測中出現(xiàn)的朱鹮目標(biāo)漏檢、誤檢問題，基于YOLOv7網(wǎng)絡(luò)框架設(shè)計高性能朱鹮檢測算法結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中“ELAN-D”模塊和“EW-DS”模塊為輕量化模塊，未提及模塊為YOLOv7原模塊[12]。本文的主要工作有以下三個方面。

圖1 YOLOv7-DSCA 網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 頸部擴展結(jié)構(gòu)

自建野生朱鹮數(shù)據(jù)集中存在部分小目標(biāo)，因此，對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化改進需要對小目標(biāo)檢測進行考慮，以提高整個網(wǎng)絡(luò)的檢測能力。拓寬頸部特征聚合結(jié)構(gòu)，用于生成160×160的特征圖，增大網(wǎng)絡(luò)的感受野，同時采用K-means聚類[8]方法生成針對小目標(biāo)的錨框，具體操作如圖1紅色虛線框所示。對于所增加的檢測頭，仍采用YOLOv7網(wǎng)絡(luò)的設(shè)計，在推理時執(zhí)行重參數(shù)化以將多個網(wǎng)絡(luò)轉(zhuǎn)換為單頭網(wǎng)絡(luò)，等效于多個網(wǎng)絡(luò)參與決策，因此，有更快的推理速度。之所以不采用直連結(jié)構(gòu)，是因為在研究YOLOv7的論文中，實驗證明直連的重參數(shù)化模塊會破壞殘差和拼接結(jié)構(gòu)，對不同的特征圖產(chǎn)生梯度多樣性[13]。

1.2 輕量化ELAN模塊

改進后的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)雖然有足夠的深度，卻導(dǎo)致網(wǎng)絡(luò)模型的參數(shù)量及計算量較大，不適合移動設(shè)備的搭載使用，為此設(shè)計了輕量化模塊“ELAN-D”模塊及“EW-DS”模塊。采用深度可分離卷積（DWSConv）替換ELAN模塊與ELAN-E模塊中的部分3×3卷積。普通卷積對輸入特征圖做卷積計算時計算量（Floating point operations，F(xiàn)LOPs）記為F1；使用深度可分離卷積代替普通卷積后的計算量，記為F2。公式如下：

標(biāo)準(zhǔn)卷積計算量：

深度可分離卷積計算量：

兩者之商：

其中，DK代表卷積核大小，DF代表輸入特征圖大小，M代表輸入特征圖通道數(shù)，N代表輸出特征圖通道數(shù)，從式（3）可以看出，所替換標(biāo)準(zhǔn)卷積的卷積核為1時，在通道數(shù)較多的情況下對網(wǎng)絡(luò)參數(shù)的影響較小，所替換的普通卷積的卷積核為3，替換后的理論計算量縮減為原來的1/9～1/8。

1.3 E-DSCA高效注意模塊

相比于目前使用較多的SE[14]、CBAM[15]注意力機制，協(xié)調(diào)注意力機制彌補了SE注意力機制只考慮內(nèi)部通道信息而忽略了位置信息的缺點；同時彌補了CBAM注意力機制無法捕獲長程依賴信息的缺點。為了闡明CA注意力機制的核心概念，定義以下公式：

沿特征圖X方向全局平均池化：

沿特征圖Y方向全局平均池化：

沿空間維度拼接后進行卷積激活操作：

生成X方向的注意力向量：

生成Y方向的注意力向量：

權(quán)重計算：

其中，z為全局平均池化后的輸出，h、w為像素點對應(yīng)的橫縱坐標(biāo)，xc表示對應(yīng)坐標(biāo)像素點的值；中括號表示沿空間維度的拼接操作，F(xiàn)1表示利用1×1卷積的操作，表示為非線性激活操作，為輸出特征圖；對沿X、Y兩個維度拆分得到、，、表示對得到的兩個特征圖進行卷積操作，表示進行sigmoid激活操作，生成0～1之間的數(shù)作為注意力機制權(quán)重，表示為、；表示最終生成的特征，表示上層輸出特征，表示沿X方向的注意力向量，表示沿Y方向的注意力向量，需要注意的是，這里的乘積不是矩陣向量相乘，而是元素一一對應(yīng)相乘。如圖2所示，將CA注意力機制融入ELAN模塊。其中“DSCBS”模塊由深度可分離卷積經(jīng)過批標(biāo)準(zhǔn)化操作后采用SiLU激活函數(shù)，卷積核為“3*3”，步長為2；“CBR”模塊代表使用ReLU激活函數(shù)的卷積塊。

圖2 “E-DSCA”模塊示意圖

2 實驗數(shù)據(jù)集與結(jié)果分析

2.1 實驗數(shù)據(jù)集

由于野生朱鹮屬于瀕危野生動物，并且活動范圍較廣，棲息環(huán)境復(fù)雜，數(shù)據(jù)獲取困難，所以數(shù)據(jù)集的制作采用少量實地拍攝結(jié)合網(wǎng)絡(luò)渠道獲取的數(shù)據(jù)。本次實驗共獲取原始圖像2000張，包括3215個對象。采用8∶2的比例劃分?jǐn)?shù)據(jù)集，最終選擇1600張作為訓(xùn)練集、400張作為測試集，采用LabelImg標(biāo)注工具對每張圖片進行標(biāo)注。

2.2 實驗訓(xùn)練環(huán)境與訓(xùn)練方法

實驗硬件環(huán)境見表1，在此基礎(chǔ)上搭建軟件環(huán)境Ubuntu18.04LTS、Python、Pytorch、CUDA等。

表1 硬件環(huán)境

訓(xùn)練優(yōu)化器采用隨機梯度下降優(yōu)化器（Stochastic Gradient Descent，SGD），可以避免模型陷入局部最優(yōu)，導(dǎo)致最后精度過低等問題。將訓(xùn)練網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為0.01，學(xué)習(xí)率動量因子設(shè)置為0.937，權(quán)重衰減系數(shù)設(shè)置為0.0005，批次大小設(shè)置為8，訓(xùn)練次數(shù)為300輪。

2.3 性能評價指標(biāo)

評價目標(biāo)檢測性能的指標(biāo)為測試樣本的平均精度均值（Mean Average Precision，mAP）、模型的參數(shù)量或模型大小和網(wǎng)絡(luò)計算量。以Recall為橫軸、Precision為縱軸繪制P-R曲線，并對其積分求出曲線下的面積即為AP（Average-Precision，AP），判斷目標(biāo)檢測結(jié)果是否正確的評價指標(biāo)為重疊度（Intersection over Union，IOU），當(dāng)IOU閾值取0.5時，得到的平均精度記為PmAP@0.5，當(dāng)IOU閾值在0.5到0.95之間等間隔共取10個值時，得到10個平均精度值再取均值得到的評價指標(biāo)，記為PmAP@0.5:0.95。

2.4 實驗結(jié)果與分析

2.4.1 橫向?qū)Ρ葘嶒?/p>

在自建朱鹮數(shù)據(jù)集上的實驗結(jié)果見表2，從中可以看出，與YOLOv7算法相比，改進后的網(wǎng)絡(luò)模型在檢測精度方面得到提升，且參數(shù)量較少；相比大型框架YOLOv7-X，所提算法的檢測精度仍有提高，并且模型參數(shù)量降低了60.14%，計算量降低了62.67%，證明引入深度可分離卷積對整體網(wǎng)絡(luò)架構(gòu)的輕量化有明顯作用；相比YOLOv5l，PmAP@0.5上升超過5個百分點；與改進后的YOLOv5s算法[17]相比，對朱鹮目標(biāo)的檢測精度有明顯的提升。為了進一步驗證本文算法的魯棒性與泛化性，將本文所提出的網(wǎng)絡(luò)模型在公共數(shù)據(jù)集MS COCO數(shù)據(jù)集[16]上進行了實驗。網(wǎng)絡(luò)模型訓(xùn)練參數(shù)設(shè)置與前文保持一致，其中缺省項表示未在公開數(shù)據(jù)中找到對應(yīng)數(shù)據(jù)。相比YOLOv7網(wǎng)絡(luò)模型，本文模型在檢測精度方面有明顯提升；與輕量型網(wǎng)絡(luò)算法EfficientDet-D1[18]相比，在模型參數(shù)數(shù)量與計算量方面雖有差距，但檢測精度比其高出15個百分點；對比同時期的兩階段檢測算法Mask R-CNN[21]，改進算法作為弱勢的單階段檢測算法在檢測精度方面仍有優(yōu)勢，具體見表3。

表2 朱鹮數(shù)據(jù)集上的橫向?qū)Ρ葘嶒?/p>

表3 MS COCO 數(shù)據(jù)集上的橫向?qū)Ρ葘嶒?/p>

在改進網(wǎng)絡(luò)模型后，因擴張Neck和引入CA，網(wǎng)絡(luò)模型參數(shù)量與計算量均略微提升，替換深度可分離卷積后保留了CA帶來的特征提取能力，同時降低了模型參數(shù)量與計算量，解決了特征提取不充分導(dǎo)致的部分朱鹮圖片或視頻檢測目標(biāo)丟失的問題。如圖3所示為在常規(guī)環(huán)境、目標(biāo)較小、遮擋等情況下的檢測結(jié)果。

圖3 改進前后效果對比圖

2.4.2 縱向?qū)Ρ葘嶒?/p>

在自建朱鹮數(shù)據(jù)集上設(shè)計消融實驗，首先對YOLOv7框架的頸部提取層擴張；然后引入E-DSCA模塊進行訓(xùn)練測試；最后引入EW-DS模塊進行測試實驗。結(jié)果見表4，改進后的網(wǎng)絡(luò)模型相比YOLOv7的PmAP@0.5提升2.3%，PmAP@0.5:0.95提升3.5%，參數(shù)量降低24.3%，計算量降低32.4%。僅擴張頸部提取層后模型參數(shù)僅上升0.8M，計算量上升14.3GFLOP，同時PmAP@0.5提升了1.5%，PmAP@0.5:0.95提升了7.7%，證明特征金塔結(jié)構(gòu)的擴張帶來的尺度增加能解決朱鹮數(shù)據(jù)集中小目標(biāo)特征捕獲丟失的問題；同樣，引入E-DSCA模塊帶來的精度提升，證明了CA注意力機制改善了正負樣本不平衡的問題；使用深度可分離卷積組成的輕量化模塊后，網(wǎng)絡(luò)模型的模型參數(shù)數(shù)量及計算量均有明顯減少，分別降低了37.1%以及51.9%，平均檢測精度僅降低約2個百分點；然后，分別對所提模塊兩兩組合，在同時添加擴張Neck和CA注意力機制時，PmAP@0.5有一定的提升，反映出這兩模塊并無較大沖突，同時，使用該算法能促進網(wǎng)絡(luò)性能提升；同時添加深度可分離卷積和擴張Neck，模型參數(shù)量有所下降，但PmAP@0.5也有一定程度的降低；同時添加深度可分離卷積和CA注意力機制，PmAP@0.5:0.95下降明顯，部分原因是兩者組合特征提取過于細化，過分提取關(guān)鍵部位，導(dǎo)致過度推理，出現(xiàn)重復(fù)檢測造成精度降低。

表4 消融實驗結(jié)果

3 結(jié)論

本文提出了一種基于YOLOv7的朱鹮檢測算法，對YOLOv7目標(biāo)檢測網(wǎng)絡(luò)進行了檢測能力的提升并壓縮了網(wǎng)絡(luò)模型。首先，在主干網(wǎng)絡(luò)中添加協(xié)調(diào)注意力模塊，使算法更準(zhǔn)確地捕捉朱鹮特征信息；接著，擴張?zhí)卣鹘鹱炙Y(jié)構(gòu)，增大模型對數(shù)據(jù)中較小特征的感受野；最后，替換部分卷積塊，降低模型參數(shù)量。同時，設(shè)計了消融實驗與對比實驗證明改進方法的有效性。對解決實際朱鹮檢測時，遇到目標(biāo)較小、遮擋等情況下導(dǎo)致的檢測目標(biāo)丟失問題有一定參考性。