基于YOLO-v7的無人機航拍圖像小目標檢測改進算法

郝紫霄，王 琦

（江蘇科技大學(xué) 計算機學(xué)院，江蘇 鎮(zhèn)江 212003）

0 引言

目標檢測作為圖像處理與計算機視覺領(lǐng)域的關(guān)鍵問題，備受重視。隨著無人機、衛(wèi)星遙感、航空航天等技術(shù)的發(fā)展，航拍圖像目標檢測已成為研究熱點。無人機航拍圖像是航拍圖像的重要分支，是以無人機作為圖像傳感器的空中搭載平臺所拍攝的圖像。無人機具有操控簡單、飛行靈活、成本低等優(yōu)點。目前，無人機航拍圖像目標檢測已廣泛應(yīng)用于城市規(guī)劃、交通監(jiān)測、生態(tài)保護、軍事安防等領(lǐng)域，且適用場景不斷拓展［1］。然而，航拍圖像區(qū)別于普通圖像，具有背景信息復(fù)雜、目標尺度小、目標具有顯著的方向性且分布稀疏不均等特點［2］，這使得航拍圖像的目標檢測，尤其是小目標檢測充滿挑戰(zhàn)。

為應(yīng)對現(xiàn)有算法在無人機航拍圖像小目標檢測任務(wù)中存在的誤檢率與漏檢率高、精度較低等問題，本文提出一種基于YOLO-v7 的無人機航拍圖像小目標檢測改進算法FCL-YOLO-v7。在此基礎(chǔ)上，本文作出如下貢獻：①將原始的3 個比例檢測層擴充為4 個比例檢測層，增加小目標檢測層；②用FReLU 激活函數(shù)代替YOLO-v7 網(wǎng)絡(luò)中Conv 模塊與RepConv 模塊中的SiLU 激活函數(shù)；③在YOLO-v7 的骨干網(wǎng)絡(luò)（backbone）中添加CBAM 注意力機制模塊；④通過從公開數(shù)據(jù)集中獲取圖片與自主采集圖片，構(gòu)建針對小目標的無人機航拍圖像數(shù)據(jù)集。本文通過對比實驗與消融實驗驗證了改進算法在無人機航拍圖像小目標檢測任務(wù)中的優(yōu)越性。

1 相關(guān)研究

傳統(tǒng)算法在無人機航拍圖像目標檢測領(lǐng)域取得了良好效果。韓露［3］基于SIFT 算法與霍夫變換，提出了針對無人機航拍圖像中十字路口目標的檢測方法。Xu 等［4］利用HOG 特征與SVM 分類器，并結(jié)合Viola-Jones 檢測器，實現(xiàn)了低空無人機圖像中的車輛目標檢測。然而，傳統(tǒng)算法不適應(yīng)數(shù)據(jù)量龐大的無人機航拍數(shù)據(jù)集，且無法達到精準實時的檢測效果。

基于深度學(xué)習(xí)的目標檢測已成為主流，主要可以分類為一階段的目標檢測算法和二階段的目標檢測算法。二階段目標檢測算法基于區(qū)域建議，先生成一系列樣本候選框，然后通過卷積神經(jīng)網(wǎng)絡(luò)進行樣本分類，常用算法有Fast RCNN［5］、Faster RCNN［6］等。王立春等［7］利用Faster RCNN 算法，并結(jié)合連通區(qū)域顏色面積特征，提高了無人機圖像中公路標線目標檢測準確率。二階段算法雖然精度高，但實時性較差。一階段目標檢測算法又被稱為基于回歸的目標檢測算法，直接回歸物體的類別概率和位置坐標，可以更好地兼顧精度與速度，代表算法有SSD（Single Shot Multi-Box Detector）［8］、YOLO（You Only Look Once）［9］系列等。Li 等［10］利用遷移學(xué)習(xí)原理，設(shè)計了一種多塊SSD算法，提高了鐵路監(jiān)測場景下無人機航拍圖像小目標檢測精度。Zhang 等［11］提出一種改進的YOLO-v3 模型，使其具有更深的特征提取網(wǎng)絡(luò)和更多的不同尺度的檢測層，并通過實驗驗證了其魯棒性與準確性。Sun 等［12］提出了一種改進的YOLO-v5 算法，添加了上采樣應(yīng)對高采樣和大感受野的問題，同時采用特征融合方法應(yīng)對淺層特征語義信息不足的問題，并用Mobilenet-V2 輕量網(wǎng)絡(luò)提升檢測速度。

2 相關(guān)算法與技術(shù)

2.1 YOLO-v7原理與結(jié)構(gòu)

2022年提出的YOLO-v7［13］算法，其作為YOLO 系列的新秀，相比之前的YOLO 算法在精度與速度等方面都有所提升，在Microsoft COCO 數(shù)據(jù)集上的驗證精度比YOLO-v5s算法高6.4 個百分點，每秒處理的圖像幀數(shù)目多39 幀。在先前版本算法基礎(chǔ)上，YOLO-v7 作出的改進主要有：①設(shè)計了幾種可訓(xùn)練的bag-of-freebies 免費包方法，包括重參數(shù)化、引導(dǎo)頭（lead head）、輔助頭（auxiliary head），使得實時目標檢測可以在不增加推理成本的前提下，大幅度提高檢測精度；②在PlainNet 和ResNet 中設(shè)計了有計劃的重參數(shù)化卷積結(jié)構(gòu)，解決了重參數(shù)化的模塊如何取代原始模塊的問題，以及使用計算和優(yōu)化方法生成可靠的軟便簽（Soft Label）并設(shè)計合理分配機制，解決了動態(tài)標簽分配策略如何處理不同輸出層的分配問題；③提出了“extend 擴展”方法與“復(fù)合縮放”方法，在實時目標檢測任務(wù)中能夠更充分地利用參數(shù)與計算資源。YOLO-v7 相比現(xiàn)有的實時目標檢測器，參數(shù)量減少約40%，計算量減少約50%，推理速度與檢測精度也得到提升；④YOLO-v7 對YOLO 的架構(gòu)進行了革新，以YOLO-v4、Scaled YOLO v4［14］等為基礎(chǔ)，構(gòu)建了基于ELAN 計算塊的E-ELAN（Extended Efficient Layer Aggregation Network）網(wǎng)絡(luò)架構(gòu)，在不破壞原有梯度路徑的條件下，提高了網(wǎng)絡(luò)學(xué)習(xí)能力。ELAN 結(jié)構(gòu)如圖1所示。

Fig.1 ELAN structure diagram圖1 ELAN結(jié)構(gòu)示意圖

YOLO-v7 的head 網(wǎng)絡(luò)中的ELAN 模塊與backbone 網(wǎng)絡(luò)中的ELAN 模塊（見圖2）略有不同，進行concat 操作的數(shù)量由4個變?yōu)?個，示意圖如圖2所示。

Fig.2 Head-ELAN diagram圖2 Head-ELAN示意圖

通過上述改進，YOLO-v7 的速度足以支持其在邊緣設(shè)備上做推理運算。YOLO-v7在保持相對精度（56.8%）下的絕對的速度優(yōu)勢（30FPS）使得它在無人機集群飛行、無人機自主避障、無人機輔助降落等應(yīng)用場景中擁有可預(yù)見的廣闊前景。

2.2 FReLU激活函數(shù)

YOLO-v7 網(wǎng)絡(luò)中的Conv 模塊中包括卷積操作、批歸一化操作（Batch Normalization）、激活函數(shù)操作。在原始YOLO-v7 算法中使用的是SiLU（Sigmoid Weighted Liner Unit）激活函數(shù)［15］，公式如式（1）所示。

SiLU 函數(shù)的簡單性及其與ReLU 函數(shù)的相似性使其可以有效替換ReLU 激活函數(shù)。而2020 年提出的FReLU（Funnel Activation）［16］激活函數(shù)在圖像分類、對象檢測、語義分割任務(wù)上的表現(xiàn)都優(yōu)于ReLU、SiLU 等激活函數(shù)，克服了激活函數(shù)的空間不敏感對視覺任務(wù)的阻礙。作為專門為視覺任務(wù)設(shè)計的激活函數(shù)，F(xiàn)ReLU 使用簡單的二維條件代替激活函數(shù)中人工設(shè)計的條件，二維空間條件可以實現(xiàn)像素級的建模能力，用規(guī)則卷積捕捉復(fù)雜的視覺布局。FReLU 的公式如式（2）、式（3）所示。

其中，T（xc，i，j）代表定義的漏斗式條件；代表第c通道上，以2D 位置（i，j）為中心的窗口代表此窗口在同一通道中的共享參數(shù)。FReLU 以微不足道的計算開銷與空間條件開銷為代價，在一定程度上提升了目標檢測，特別是小目標檢測的精度。

2.3 CBAM注意力機制

即添即用的注意力機制模塊可以讓目標檢測網(wǎng)絡(luò)自適應(yīng)地關(guān)注到值得注意的區(qū)域與特征，而不是不加區(qū)分地關(guān)注所有區(qū)域與特征。注意力機制可分為通道注意力機制、空間注意力機制、結(jié)合通道與空間的注意力機制。卷積注意力機制模塊（Convolutional Block Attention Module，CBAM）［17］是通道注意力機制與空間注意力機制結(jié)合的典型實現(xiàn)，可以關(guān)注每個通道的比重與每個像素點的比重。CBAM 的示意圖如圖3所示。

Fig.3 CBAM diagram圖3 CBAM示意圖

圖3 中通道注意力機制模塊的公式如式（4）、式（5）、式（6）所示。

其中，uc是第c個通道大小為（H，W）的特征圖；zcm是全局最大池化處理后的結(jié)果；zca是全局平均池化操作后的結(jié)果；Fmlp是共享全連接層處理；將兩個處理結(jié)果相加再取Simoid函數(shù)值，得到權(quán)重Mc，最后，將權(quán)重與輸入特征層相乘。

圖3中空間注意力機制模塊的公式如式（7）所示。

其中，Ms（F）是對特征圖F處理得到的權(quán)重值；AP是平均池化操作；MP是最大池化操作；Conv表示對堆疊結(jié)果進行卷積操作；σ是Simoid函數(shù)操作。

CBAM 可以提高目標檢測網(wǎng)絡(luò)性能，節(jié)省參數(shù)與計算力，但在實際使用時要根據(jù)自身數(shù)據(jù)與網(wǎng)絡(luò)特點綜合決定插入與否以及具體插入位置，否則會得不償失。

3 改進的YOLO-v7算法

3.1 FCL-YOLO-v7

隨著無人機飛行高度的變化，目標的成像尺寸也會隨之變化，因此目標檢測模型要適應(yīng)多種尺度。為使網(wǎng)絡(luò)盡可能多地獲取小目標的特征信息，從而提升小目標的檢測效率，本文對YOLO-v7 的網(wǎng)絡(luò)結(jié)構(gòu)進行了改進。YOLOv7 中，backbone 網(wǎng)絡(luò)對輸入圖像的寬高進行壓縮，同時擴張通道數(shù)；經(jīng)backbone 對特征點進行連續(xù)下采樣后，會產(chǎn)生具有高語義內(nèi)容的特征層，然后加強特征提取網(wǎng)絡(luò)會重新進行上采樣，使得特征層的尺度重新變大，利用大尺度的特征去檢測小目標。原始YOLO-v7 算法的加強特征提取網(wǎng)絡(luò)會進行兩次上采樣，而FCL-YOLO-v7 添加了第3次上采樣，繼續(xù)處理特征圖，并將第3 次上采樣之后的特征圖與骨干網(wǎng)絡(luò)中經(jīng)過Stem 模塊、第一個Conv-ELAN 模塊后生成的特征層進行拼接操作，實現(xiàn)特征融合，從而生成寬高為160 的第4 個輸出檢測層。此外，由于上采樣次數(shù)增加為3，下采樣的次數(shù)也改為3 次，反映到網(wǎng)絡(luò)結(jié)構(gòu)上的變化為：加強特征提取網(wǎng)絡(luò)中添加了一組“下采樣模塊-ElAN 模塊”。因此，相比原始YOLO-v7 生成的3 個檢測層，改進算法中對應(yīng)尺度的檢測層中由加強特征提取網(wǎng)絡(luò)生成的部分在進行RepConv 操作前多進行了一組上采樣與一組下采樣操作，檢測層包含的小目標信息量得到提升。經(jīng)過改進，YOLO-v7 的特征金字塔結(jié)構(gòu)得到了拓展［18］，在一定程度上解決了淺層特征語義信息不足的問題；改進算法還考慮到新增的上采樣結(jié)果可能會對小目標特征不明確，因此將之前下采樣中生成的特征層與上采樣中尺度相同的特征圖進行堆疊，不僅盡可能多地保留了小目標信息，而且有利于充分利用深層特征與淺層特征，有利于融合紋理特征與語義特征。

為改進小尺度目標檢測效果，F(xiàn)CL-YOLO-v7 對錨框（Anchor）進行了調(diào)整。錨框機制的原理是遍歷輸入圖像上所有可能存在目標的像素框，然后選出實際存在目標的像素框，并對像素框的尺寸與位置進行調(diào)整從而完成目標檢測任務(wù)。在實際任務(wù)中，錨框設(shè)置為多種不同尺度，以使網(wǎng)絡(luò)檢測范圍盡可能多地覆蓋面積與區(qū)域，同時方便后續(xù)錨框調(diào)整到與真實框基本接近。錨框機制的引入不僅可以降低模型訓(xùn)練復(fù)雜度、提高運行速度，還能有效預(yù)測不同寬高比的物體。錨框是檢測的起點，需要將設(shè)計好的錨框分配給不同尺度的物體，然而物體的尺度是連續(xù)的，錨框的尺度是離散的，如果沒有設(shè)計好錨框尺寸，容易造成小目標漏檢。在原始YOLO-v7 算法中，Anchor 參數(shù)為［12，16，19，36，40，28］；［36，75，76，55，72，146］；［142，110，192，243，459，401］，每一組Anchor 參數(shù)代表在不同的特征圖上的錨框，一般在含有更多小目標信息的大的特征圖上去檢測小目標。改進后的網(wǎng)絡(luò)Anchor 參數(shù)為［12，16，30，15，15，30］；［56，20，28，43，93，30］；［46，95，167，48，110，155］；［383，136，286，354，609，255］，解決了之前的3組錨框配置無法滿足4個檢測層的問題。

激活函數(shù)作為非線性因素，具有去線性化，即克服線性模型局限性的作用。因此，目標檢測模型中激活函數(shù)的選擇對其性能的影響不容忽視。在YOLO-v7 網(wǎng)絡(luò)中，Conv 模塊是其結(jié)構(gòu)的關(guān)鍵組成部分。Conv 模塊中封裝了3 個功能，分別是卷積、批歸一化、激活函數(shù)。改進算法將原網(wǎng)絡(luò)中的Conv 模塊包含的激活函數(shù)由SiLU 替換為FRe-LU，原網(wǎng)絡(luò)中RepConv 模塊包含的激活函數(shù)也使用FReLU函數(shù)替換SiLU 函數(shù)。YOLO-v7 中的RepConv 借鑒了RepVGG［19］的架構(gòu)，延續(xù)了其推理速度快、記憶效率高的性能，而RepVGG 的提出是為了解決ResNet 等復(fù)雜多分支設(shè)計的模塊難以實現(xiàn)且特質(zhì)化困難的問題。

YOLO-v7 網(wǎng)絡(luò)中的backbone 部分首先是Stem 結(jié)構(gòu)，它由堆疊的3 層Conv 模塊構(gòu)成。第1 個Conv 模塊的卷積核設(shè)置1，步長設(shè)置為1；第2 個的卷積核設(shè)置為3，步長為2；第3 個的卷積核設(shè)置為3，步長為1，以實現(xiàn)寬高分別減半、通道數(shù)變?yōu)?4 的效果（針對三通道彩色圖片的處理效果）。改進算法將YOLO-v7 的Stem 結(jié)構(gòu)的第一個Conv 模塊替換為CBAM 注意力機制模塊。CBAM 是一種輕量型的通道—空間注意力機制，適合無人機的實時目標檢測任務(wù)。

經(jīng)過上述改進，F(xiàn)CL-YOLO-v7 算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

3.2 PCUS-DataSets

無人機航拍圖像小微目標數(shù)據(jù)集較缺乏，因此本文構(gòu)建自定義數(shù)據(jù)集進行后續(xù)實驗。自定義數(shù)據(jù)集PCUS-DataSets 的圖片由公開數(shù)據(jù)集DTB70［20］、Visdrone［21］、Det-Fly［22］、NPS-Drones 以及自采集數(shù)據(jù)集中的相關(guān)圖片所構(gòu)成，其中，自采集圖像由大疆Mavic Air 2 無人機通過實際飛行進行采集，分辨率為8 000×6 000。PCUS-DataSets 的圖片總量為718 張，隨機劃分為訓(xùn)練集圖片588 張，驗證集圖片65 張，測試集圖片65 張。為定量定性地測試本文算法針對無人機航拍圖像中小目標的檢測性能，PCUS-Data-Sets 中的目標尺度均微小，在整張圖片中的像素數(shù)占比可低至1/50 000。數(shù)據(jù)集還包含大量稠密分布、遮擋分布、邊角分布、前景與背景難以區(qū)分等檢測較為困難的小目標，分別如圖5（a）（b）（c）（d）所示（彩圖掃OSID 碼可見，下同）。

Fig.5 Diagram of some targets圖5 部分目標示意圖

PCUS-DataSets 中的目標被標記為Pedestrian、Cyclist、UAV、Sheep 4 類：Pedestrian 類標記行人目標，共1 122 個；Cyclist 類標記騎行者目標，標記框覆蓋騎行者及其代步非機動車機身，共616 個；UAV 標記同伴無人機目標，使算法的應(yīng)用場景從單個無人機飛行擴展為無人機集群飛行，共325 個；Sheep 標記羊目標，共583 個。PCUS-DataSets 的拍攝場景多樣，包含公園、商業(yè)街區(qū)、廣場、公路、校園、水庫、草地、天空、海濱等，且涵蓋各時間維度。

4 實驗與分析

實驗條件為：本文實驗是在Windows10 操作系統(tǒng)下進行；使用單塊GPU，型號為NVIDIA GeForce RTX 3060 Laptop GPU；處理器為AMD Ryzen 75800H；訓(xùn)練時采用帶預(yù)熱的余弦退火算法；網(wǎng)絡(luò)輸入尺寸為640×640；實驗數(shù)據(jù)集為自主構(gòu)建的PCUS-DataSets 數(shù)據(jù)集。實驗參數(shù)設(shè)置如表1所示。

Table 1 Partial experimental parameters表1 部分實驗參數(shù)

為評價改進算法性能，引入指標：精確率（Precision）、召回率（Recall）、測試所用非極大值抑制時間（NMS_time），公式如式（8）、式（9）所示。

其中，TP代表將正類預(yù)測為正類數(shù)，F(xiàn)P代表將負類預(yù)測為正類數(shù)，F(xiàn)N代表將負類預(yù)測為正類數(shù)。

本文以計算量，即模型運算次數(shù)衡量模型時間復(fù)雜度；以訪存量，即模型參數(shù)數(shù)量衡量模型空間復(fù)雜度。輸入圖像尺度為640×640 時，F(xiàn)CL-YOLO-v7 模型計算量為121.2 GFLOPS，參數(shù)量為35.58M。

4.1 對比實驗及結(jié)果分析

為檢測本文改進算法的效果，將其與同類算法進行對比實驗，結(jié)果如表2 所示。本文涉及的對比實驗中，網(wǎng)絡(luò)的深度（depth_multiple）均設(shè)置為1.0，寬度（width_multiple）均設(shè)置為1.0。

Table 2 Comparison of detection results of different algorithms表2 不同算法檢測結(jié)果比較

由表2 可知，F(xiàn)CL-YOLO-v7 算法在精確率上比YOLO-v3 高7.3 個百分點，比YOLO-v5 高6.5 個百分點，比原始YOLO-v7 算法高6.7 個百分點；在召回率上比YOLO-v3高1.9 個百分點，比YOLO-v5 高3.3 個百分點，比原始YOLO-v7 算法高0.2 個百分點。經(jīng)過改進，算法性能得到提升，與無人機航拍圖像小目標檢測任務(wù)的適配性得到提高。

為直觀展示本文算法改進效果，圖6（a）（b）分別為用YOLO-v7、FCL-YOLO-v7 在PCUS-DataSets 數(shù)據(jù)集上訓(xùn)練得到的權(quán)重檢測無人機圖像目標所得到的效果圖。

Fig.6 Experimental processed image圖6 實驗處理圖像

YOLO-v7 算法處理的圖6（a）中出現(xiàn)了將斑馬線誤檢為Cyclist 目標、將汽車輪胎誤檢為Pedestrian 目標的情況，正確目標的置信度較低，如右下角Cyclist 目標的置信度為0.78。而FCL-YOLO-v7 算法處理的圖6（b）中則沒有誤檢，且右下角Cyclist 目標的置信度為0.94。由此可見，改進算法能有效解決小目標檢測難題。

4.2 消融實驗及結(jié)果分析

為了進一步驗證本文提出的各項改進對算法性能的影響，本文進行了消融實驗。消融實驗設(shè)置如表3 所示，對每個實驗進行編號，表格中的“加號”表示“進行此項改進”，實驗結(jié)果如表4 所示。實驗1-4 在訓(xùn)練時應(yīng)用了遷移學(xué)習(xí)原理，均使用了YOLO-v7 在Microsoft COCO 數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重［23］，利用預(yù)訓(xùn)練權(quán)重，可以使模型從較高的起點開始訓(xùn)練，從而以較短的耗時得到更精確的模型。Microsoft COCO 數(shù)據(jù)集由123 287 張圖片構(gòu)成，包含80 個目標類，且含有海量的小目標，因此預(yù)訓(xùn)練權(quán)重的使用可以解決無人機航拍圖像樣本較少的問題。

Table 3 Ablation experiment design表3 消融實驗設(shè)置

Table 4 Results of ablation experiment表4 消融實驗結(jié)果

消融實驗證明本文提出的改進方法確實在不影響用時的條件下有效地提高了算法精度，且改進算法中的各項改進均產(chǎn)生了積極影響。

5 結(jié)語

本文提出一種基于YOLO-v7 的無人機航拍小目標檢測改進算法FCL-YOLO-v7，增加了小目標檢測層并改進錨框數(shù)量與尺度設(shè)置，添加CBAM 注意力機制，使用FRe-LU 作為激活函數(shù)。在自主構(gòu)建的無人機航拍圖像小目標數(shù)據(jù)集PCUS-DataSets 上進行對比實驗及消融實驗，結(jié)果證明本文改進算法的性能優(yōu)于YOLO-v3、YOLO-v5、原始YOLO-v7 算法，精確率較YOLO-v7 提升6.7%。但本文算法也存在不足，如改進方法會提高網(wǎng)絡(luò)復(fù)雜度，增加參數(shù)量。下一步工作可改進如下：在保證高檢測精度的前提下，將模型輕量化，降低模型參數(shù)量與網(wǎng)絡(luò)復(fù)雜度；改進正負樣本劃分與采樣策略，以實現(xiàn)召回率的有效提升；在不同自然環(huán)境狀況下，繼續(xù)進行無人機實飛作業(yè)，擴充數(shù)據(jù)集。