基于BiFPN和注意力機(jī)制改進(jìn)YOLOv5s的車輛行人檢測(cè)

摘" 要： 隨著人工智能技術(shù)在交通領(lǐng)域的深入應(yīng)用，實(shí)時(shí)檢測(cè)和跟蹤交通道路中的車輛與行人成為自動(dòng)駕駛技術(shù)不可或缺的組成部分。為了提升在復(fù)雜環(huán)境中的檢測(cè)精度與速度，文中提出一種基于BiFPN和注意力機(jī)制改進(jìn)的YOLOv5s模型。通過(guò)集成雙向特征金字塔網(wǎng)絡(luò)（BiFPN）和引入CBAM注意力機(jī)制，優(yōu)化了模型對(duì)小目標(biāo)的識(shí)別能力，并通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)處理自動(dòng)駕駛公開(kāi)數(shù)據(jù)集SODA10M，解決樣本不均問(wèn)題。實(shí)驗(yàn)結(jié)果顯示，改進(jìn)模型在SODA10M數(shù)據(jù)集上的mAP值達(dá)到85.2%，較原始YOLOv5模型提高2.7%，同時(shí)FPS達(dá)到了42 f/s，相比原模型下降了7 f/s，雖有所下降，但在保持較高精度的同時(shí)實(shí)現(xiàn)了較快的檢測(cè)速度。該研究在復(fù)雜環(huán)境下提升目標(biāo)檢測(cè)與跟蹤技術(shù)方面展現(xiàn)出了新的思路和潛力，對(duì)于自動(dòng)駕駛技術(shù)的發(fā)展具有重要的應(yīng)用價(jià)值。

關(guān)鍵詞： 自動(dòng)駕駛； YOLOv5s； CBAM； BiFPN； DeepSORT； ByteTrack

中圖分類號(hào)： TN911.73?34； TP391" " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2025）03?0174?07

Improved YOLOv5s vehicle and pedestrian detection

based on BiFPN and attention mechanism

LIU Lili1， WANG Zhiwen1， WANG Liang2， LI Jiachen1， FANG Guoxiang3， Lü Yixiong1

（1. School of Electronic Engineering， Guangxi University of Science and Technology， Liuzhou 545006， China;

2. School of Electronic Information Engineering， Changchun University of Science and Technology， Changchun 130013， China;

3. School of Computer Science and Technology， Guangxi University of Science and Technology， Liuzhou 545006， China）

Abstract： With the deep application of artificial intelligence （AI） technology in the field of transportation， real?time detection and tracking of vehicles and pedestrians on traffic roads has become an indispensable component of autonomous driving technology. In order to improve detection accuracy and speed in complex environments， an improved YOLOv5s model based on BiFPN （bidirectional feature pyramid network） and attention mechanism is proposed. By integrating BiFPN and introducing CBAM （convolutional block attention module） attention mechanism， the model′s recognition ability for small objects is optimized. The data augmentation technology is used to process the publicly available dataset SODA10M for autonomous driving， so as to get rid of the sample non?uniformity. The experimental results show that the improved model achieves an mAP of 85.2% on the SODA10M dataset， which is 2.7% higher than that of the original YOLOv5 model. In addition， its FPS reaches 42 f/s， which is 7 f/s lower than that of the original model. Although there is a slight decrease for FPS， it achieves fast detection speed while maintaining high accuracy. This study demonstrates new ideas and potential in improving object detection and tracking technology in complex environments， and has significant application value for the development of autonomous driving technology.

Keywords： autonomous driving; YOLOv5s; CBAM; BiFPN; DeepSORT; ByteTrack

0" 引" 言

在當(dāng)前的智能監(jiān)控和自動(dòng)駕駛領(lǐng)域，YOLOv5s以其輕量級(jí)結(jié)構(gòu)和高效的檢測(cè)速度受到廣泛關(guān)注。盡管其性能卓越，但在處理現(xiàn)實(shí)世界復(fù)雜場(chǎng)景時(shí)，尤其是在小目標(biāo)檢測(cè)和遮擋問(wèn)題上仍面臨著挑戰(zhàn)。小目標(biāo)因其在圖像中占據(jù)的像素少，加之拍攝角度和距離的多樣性，往往導(dǎo)致檢測(cè)精度下降[13]。為了解決這些問(wèn)題，本文提出了改進(jìn)的YOLOv5s算法，旨在增強(qiáng)其對(duì)小目標(biāo)的檢測(cè)能力并優(yōu)化遮擋場(chǎng)景下的性能。首先，引入注意力機(jī)制到主干特征提取網(wǎng)絡(luò)中，以便更有效地從背景噪聲中提取出有用的目標(biāo)信息；其次，通過(guò)增加P2特征層參與特征融合，新增了專門針對(duì)小目標(biāo)的預(yù)測(cè)分支，以提高模型對(duì)小目標(biāo)的敏感度；最后，采用BiFPN替換原有特征融合結(jié)構(gòu)，以增強(qiáng)不同尺度特征間的信息流動(dòng)。這些改進(jìn)旨在提升YOLOv5s在各種復(fù)雜環(huán)境中的適應(yīng)性和準(zhǔn)確性，為實(shí)際應(yīng)用中的目標(biāo)檢測(cè)技術(shù)發(fā)展提供新的思路。

1" 相關(guān)理論

1.1" YOLOv5目標(biāo)檢測(cè)算法

YOLOv5通過(guò)精煉模型結(jié)構(gòu)，實(shí)現(xiàn)資源受限條件下的高效目標(biāo)檢測(cè)，模型結(jié)構(gòu)如圖1所示。模型包括CBS模塊、CSP1模塊、CSP2模塊、SPPF和Head五個(gè)部分，為實(shí)時(shí)目標(biāo)檢測(cè)奠定了基礎(chǔ)。

1.2" 目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)

本文采用精確度（[P]）、召回率（[R]）、平均精確率（AP）和平均精確率的平均值（mAP）作為評(píng)價(jià)目標(biāo)檢測(cè)算法性能的指標(biāo)。

[P]計(jì)算了分類器預(yù)測(cè)為正樣本實(shí)際上也確實(shí)是正樣本的比例，用式（1）計(jì)算：

[P=TPTP+FP×100%] （1）

[R]是衡量分類器正確識(shí)別為正樣本的數(shù)量占實(shí)際正樣本總數(shù)的比例，如式（2）所示：

[R=TPTP+FN×100%] （2）

式中：TP表示被模型預(yù)測(cè)為正樣本、實(shí)際為正樣本的數(shù)量；FP指被模型誤判為正樣本、實(shí)際為負(fù)樣本的數(shù)量；FN代表實(shí)際上是正樣本卻被模型預(yù)測(cè)為負(fù)樣本的數(shù)量。

AP為某一檢測(cè)類別下[PR]曲線所圍成的面積大小，如式（3）所示。mAP表示加權(quán)后所有類別的平均精度的平均結(jié)果，用來(lái)衡量目標(biāo)檢測(cè)網(wǎng)絡(luò)性能的好壞，如式（4）所示：

[AP=01PRdR] （3）

[mAP=i=1NAPiN] （4）

式中：[N]表示所有目標(biāo)類別的數(shù)量；[i]表示第[i]類目標(biāo)。

2" 基于改進(jìn)YOLOv5s的車輛行人檢測(cè)

2.1" 引入注意力機(jī)制

在卷積神經(jīng)網(wǎng)絡(luò)（CNN）的結(jié)構(gòu)中，卷積操作的權(quán)重共享特性意味著圖像中的每個(gè)像素點(diǎn)都被同等對(duì)待，這樣的設(shè)計(jì)雖然提高了模型的計(jì)算效率，但同時(shí)也使得模型難以有效區(qū)分圖像中的前景與背景，尤其在背景復(fù)雜的情況下，模型可能會(huì)錯(cuò)誤地將背景信息識(shí)別為目標(biāo)[8]。為了解決這一問(wèn)題，研究者引入了注意力機(jī)制，讓模型自動(dòng)學(xué)習(xí)一組權(quán)重系數(shù)，這些權(quán)重會(huì)被不均等地分配到圖像的不同區(qū)域，特別是那些包含關(guān)鍵信息的目標(biāo)區(qū)域。這樣，模型就可以將更多的關(guān)注集中在重要的信息上，減少對(duì)無(wú)關(guān)背景的干擾，從而提升對(duì)目標(biāo)的識(shí)別和關(guān)注能力。

2.1.1" ECA注意力機(jī)制

ECA注意力機(jī)制對(duì)SE注意力機(jī)制進(jìn)行了改良，目的是提高通道注意力計(jì)算的效率和效果。SE機(jī)制通過(guò)兩輪全連接層實(shí)現(xiàn)了通道的降維與升維操作，這種降維方法可能對(duì)通道注意力的準(zhǔn)確預(yù)測(cè)產(chǎn)生負(fù)面影響，同時(shí)，捕捉所有通道之間的相互依賴性既不高效也非必需。ECA機(jī)制采用了一種更為精簡(jiǎn)的方法，只關(guān)注每個(gè)通道及其[k]個(gè)最近鄰?fù)ǖ乐g的局部交互，來(lái)優(yōu)化跨通道的信息捕獲過(guò)程。

ECA注意力機(jī)制的結(jié)構(gòu)如圖2所示。首先對(duì)輸入特征圖應(yīng)用全局平均池化，以生成一個(gè)1×1×[C]維的特征向量；接著，利用一個(gè)大小為[k]的1D卷積層對(duì)該向量進(jìn)行處理，產(chǎn)生一個(gè)維度相同的特征矩陣[6]，通過(guò)Sigmoid函數(shù)激活后，得到通道權(quán)重；最后通過(guò)點(diǎn)乘操作將權(quán)重應(yīng)用于輸入特征矩陣上。其中，卷積核的大小[k]是用式（5）計(jì)算得到的一個(gè)自適應(yīng)核。

2.1.2" CBAM注意力機(jī)制

CBAM注意力機(jī)制[7]分為通道和空間兩個(gè)模塊，如圖3所示。首先，輸入特征圖通過(guò)通道模塊，為關(guān)鍵特征分配更高權(quán)重，通過(guò)相乘得到調(diào)整后的特征圖；然后，此特征圖進(jìn)入空間模塊，強(qiáng)化重要空間特征；最終，CBAM輸出經(jīng)過(guò)兩階段增強(qiáng)的特征圖[6]，提升了模型對(duì)關(guān)鍵信息的識(shí)別能力。

[k=ψC=log2 Cγ+bγ] （5）

在圖4所描述的通道注意力模塊架構(gòu)里，初始步驟涉及將輸入特征圖通過(guò)最大池化和平均池化兩種處理方式，在其寬度和高度上形成兩個(gè)1×1×[C]維的特征圖。將這兩個(gè)處理后的特征圖分別傳遞給一個(gè)多層感知機(jī)（MLP），目的是提升其特征的表達(dá)能力。經(jīng)過(guò)MLP處理的結(jié)果將被合并，然后經(jīng)過(guò)Sigmoid函數(shù)激活，最終生成該通道注意力模塊的輸出特征圖[Mc]。

在圖4中，[F∈RC×H×W]，輸出特征圖，[Mc∈RC×1×1]，則[Mc]可用式（6）表示。

[McF=σMLPAvgPoolF+MLPMaxPoolF=σW1W0Fcavg+W1W0Fcmax] （6）

式中：[σ]為Sigmoid激活函數(shù)；[W0]和[W1]分別表示MLP中的降維和升維操作，降維之后經(jīng)過(guò)ReLU激活函數(shù)再進(jìn)行升維，降維后得到的特征圖維度為[Cr×C]，升維之后得到的特征圖維度為[C×Cr]。通道注意力上的權(quán)重生成后，與輸入特征圖相乘，得到通道注意力模塊的輸出特征。

對(duì)于空間注意力模塊，其結(jié)構(gòu)如圖5所示。

該模塊首先對(duì)通道注意力模塊的輸出特征執(zhí)行最大池化和平均池化操作，生成兩個(gè)維度為[H]×[W]×1的特征圖；接著，這兩個(gè)特征圖會(huì)在通道層面上合并起來(lái)，并通過(guò)一個(gè)7×7大小的卷積層處理將特征圖的通道數(shù)減少到1；最后，通過(guò)Sigmoid激活函數(shù)處理，得到空間注意力模塊的輸出特征圖[Ms]。圖5中，[Ms∈RH×W]，[Ms]可用式（7）表示。

[MsF'=σf7×7AvgPoolF'，MaxPoolF'" " " " " " =σf7×7FCavg;FCmax" " " ] （7）

2.2" 增加小目標(biāo)檢測(cè)層

[YOLOv5]的架構(gòu)設(shè)計(jì)包含三個(gè)檢測(cè)頭，旨在處理圖像中的不同尺度目標(biāo)，以覆蓋多數(shù)標(biāo)準(zhǔn)檢測(cè)場(chǎng)景下的尺度變化需求。然而，當(dāng)面臨極端的尺度變化，尤其是在特定的復(fù)雜環(huán)境或小目標(biāo)檢測(cè)[9]場(chǎng)景中，模型的性能有限，容易出現(xiàn)漏檢現(xiàn)象。如在圖6所示的高速公路場(chǎng)景下，遠(yuǎn)處的車輛有時(shí)不被檢測(cè)到，暴露了應(yīng)對(duì)某些挑戰(zhàn)性情況時(shí)的局限性。

在特征提取網(wǎng)絡(luò)中，淺層網(wǎng)絡(luò)捕捉的是豐富的局部細(xì)節(jié)，具有較小的感受野和高分辨率，這使得它能夠捕獲到小目標(biāo)的詳細(xì)信息。相反，深層網(wǎng)絡(luò)提供的是全局信息，隨著網(wǎng)絡(luò)深度的增加，感受野擴(kuò)大，得到的特征圖分辨率較低但包含了更多的中到大尺寸目標(biāo)信息。這種設(shè)計(jì)雖然能夠處理多種尺寸的目標(biāo)，但對(duì)小目標(biāo)的檢測(cè)效果不盡人意。為了增強(qiáng)對(duì)小目標(biāo)的檢測(cè)能力，本文在[YOLOv5s]三個(gè)檢測(cè)層的基礎(chǔ)上，引入了一個(gè)專門針對(duì)小目標(biāo)檢測(cè)的層，創(chuàng)建了改進(jìn)型模型YOLOv5?P2，如圖7所示。在該模型中，第19層對(duì)80×80的特征圖進(jìn)行上采樣，與第2層的160×160特征圖在第20層進(jìn)行融合，實(shí)現(xiàn)深層與淺層特征的合并。檢測(cè)層因此增加到4層，分別位于網(wǎng)絡(luò)的第21層、24層、27層、30層。雖然這種改進(jìn)提升了小目標(biāo)的檢測(cè)性能，但也帶來(lái)了網(wǎng)絡(luò)運(yùn)算成本的增加，進(jìn)而影響了訓(xùn)練速度和檢測(cè)效率。盡管如此，該方法對(duì)小目標(biāo)的檢測(cè)精度有顯著改進(jìn)。

2.3" BiFPN特征融合

2019年，谷歌大腦團(tuán)隊(duì)在EfficientDet[4]目標(biāo)檢測(cè)算法中引入了雙向特征金字塔網(wǎng)絡(luò)（BiFPN），是對(duì)PANet的進(jìn)一步改進(jìn)。本文將BiFPN引入YOLOv5中進(jìn)行特征融合，BiFPN結(jié)構(gòu)如圖8所示。通過(guò)引入可學(xué)習(xí)的參數(shù)調(diào)節(jié)各輸入特征的權(quán)重，進(jìn)一步提升了模型的特征提取和融合能力。

為了將BiFPN結(jié)構(gòu)引入YOLOv5?P2模型，需要對(duì)BiFPN結(jié)構(gòu)做進(jìn)一步改進(jìn)。針對(duì)YOLOv5?P2模型，去掉了BiFPN的一個(gè)輸入特征層，將輸入端的特征層由5個(gè)變?yōu)?個(gè)，把YOLOv5?P2模型中的P2～P5特征層作為BiFPN的輸入端，根據(jù)自頂向下、自底向上規(guī)則建立BiP2結(jié)構(gòu)，如圖9所示。

3" 實(shí)驗(yàn)結(jié)果與分析

3.1" 引入注意力機(jī)制

在相同的實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)條件下，在YOLOv5s的主干網(wǎng)絡(luò)中分別加入SE[1]、ECA[2]、CBAM、CA，五種模型的實(shí)驗(yàn)性能結(jié)果定量比較如表1所示。

從表1可以看出，加入CBAM注意力機(jī)制之后，mAP相比原始YOLOv5s模型提高了0.2%，精確度下降了1.4%，召回率提高了0.9%，F(xiàn)PS達(dá)到了47 f/s，滿足實(shí)時(shí)檢測(cè)的要求。

四種注意力機(jī)制應(yīng)用于主干特征提取網(wǎng)絡(luò)后的熱力圖如圖10所示，性能明顯得到了提升，其中CBAM[3]表現(xiàn)最佳，能更有效地集中于感興趣區(qū)域。針對(duì)小目標(biāo)的檢測(cè)結(jié)果如圖11所示，用矩形高亮顯示了小目標(biāo)，對(duì)比了添加SE、ECA、CBAM、CA這四種注意力機(jī)制后與YOLOv5s比較的檢測(cè)效果。

圖11檢測(cè)結(jié)果表明在加入CBAM注意力機(jī)制之后，模型對(duì)小目標(biāo)和遮擋場(chǎng)景的識(shí)別能力明顯超過(guò)了原始模型及其他注意力機(jī)制[12]改進(jìn)的模型?？傮w而言，加入CBAM的模型表現(xiàn)出更優(yōu)越和平衡的性能[11]。因此，本文通過(guò)引入CBAM，有效提高了模型的魯棒性和目標(biāo)特征提取能力，實(shí)現(xiàn)了更精準(zhǔn)的檢測(cè)效果。

3.2" YOLOv5?P2和YOLOv5?BiP2

在相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集下，比較原始YOLOv5s、YOLOv5?P2、YOLOv5?BiP2三種模型的性能，如表2所示。

由表2可以看出，增加小目標(biāo)檢測(cè)層的YOLOv5?P2模型以及采用BiFPN特征融合的YOLOv5?BiP2模型準(zhǔn)確率和召回率相比原始的YOLOv5s模型均有所提升，其中YOLOv5?BiP2模型提升最多，準(zhǔn)確率提升了1.5%，召回率提升了2.3%，mAP提升了2.8%，F(xiàn)PS達(dá)到了47 f/s，雖然相比原始YOLOv5s下降了2 f/s，但是仍能滿足實(shí)時(shí)檢測(cè)的要求。[YOLOv5s]、YOLOv5?P2和YOLOv5?BiP2三種模型的檢測(cè)結(jié)果如圖12所示。

圖12的檢測(cè)結(jié)果顯示，在添加小目標(biāo)檢測(cè)層后，目標(biāo)漏檢現(xiàn)象仍然存在。通過(guò)采用BiFPN特征融合策略，目標(biāo)漏檢問(wèn)題得到了一定程度的緩解。BiFPN是在PANet架構(gòu)基礎(chǔ)上進(jìn)行的改進(jìn)，它通過(guò)在同級(jí)特征節(jié)點(diǎn)中增加一條從基礎(chǔ)節(jié)點(diǎn)到輸出節(jié)點(diǎn)的額外連接線，實(shí)現(xiàn)了在不顯著增加計(jì)算成本的前提下，更有效的特征融合。此外，BiFPN還引入了一種根據(jù)不同層級(jí)特征對(duì)檢測(cè)結(jié)果貢獻(xiàn)度不同，為不同層節(jié)點(diǎn)分配加權(quán)值的方法，這一策略在實(shí)驗(yàn)中展示了更良好的性能。

3.3" 各類改進(jìn)方法實(shí)驗(yàn)結(jié)果對(duì)比

表3、表4分別顯示了采用CBAM[5]注意力機(jī)制、增加檢測(cè)層、BiFPN特征融合以及混合改進(jìn)后的目標(biāo)檢測(cè)模型性能對(duì)比。

由表3、表4可知，混合改進(jìn)后的目標(biāo)檢測(cè)模型mAP達(dá)到了85.2%，F(xiàn)PS達(dá)到了42 f/s，相比YOLOv5s模型，mAP提升了2.7%，F(xiàn)PS下降了7 f/s。雖然mAP值相比YOLOv5?BiP2模型下降了0.1%，但從各個(gè)類別的AP值來(lái)看，混合改進(jìn)后，Car（汽車）、Cyclist（騎行者）、Truck（卡車）三種類別的AP值相比YOLOv5?BiP2模型均有所提升，證明了改進(jìn)后模型的有效性[10]。圖13為YOLOv5s和混合改進(jìn)后模型的檢測(cè)效果。改進(jìn)后模型的訓(xùn)練損失曲線和原YOLOv5s的損失曲線如圖14所示。

由圖14可以看出，改進(jìn)后的模型相比于原YOLOv5s能夠更快地收斂。

4" 結(jié)" 語(yǔ)

本文探討了針對(duì)車輛和行人檢測(cè)中漏檢問(wèn)題的解決方案，對(duì)YOLOv5s網(wǎng)絡(luò)實(shí)施三種不同的優(yōu)化策略，并對(duì)每種改進(jìn)進(jìn)行了實(shí)驗(yàn)和對(duì)比分析。實(shí)驗(yàn)結(jié)果顯示，采用一種綜合的改進(jìn)方法能夠在保持檢測(cè)速度和提高精度之間實(shí)現(xiàn)最佳平衡。雖然檢測(cè)速率有輕微下降，但相比原始網(wǎng)絡(luò)模型，檢測(cè)精度得到了明顯提升。

參考文獻(xiàn)

[1] HU J， SHEN L， ALBANIE S. Squeeze?and?excitation networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 7132?7141.

[2] WANG Q L， WU B G， ZHU P F， et al. ECA?Net： Efficient channel attention for deep convolutional neural networks [C]// CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2020： 11531?11539.

[3] WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg： Springer， 2018： 3?19.

[4] TAN M X， LE Q V. EfficientNet： Rethinking model scaling for convolutional neural networks [C]// Proceedings of the 2019 IEEE International Conference on Machine Learning. New York： IEEE， 2019： 6105?6114.

[5] 張德春，李海濤，李勛，等.基于CBAM和BiFPN改進(jìn)YOLOv5的漁船目標(biāo)檢測(cè)[J].漁業(yè)現(xiàn)代化，2022，49（3）：71?80.

[6] 田宇.基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)算法研究[D].秦皇島：燕山大學(xué)，2021.

[7] 趙婉月.基于YOLOv5的目標(biāo)檢測(cè)算法研究[D].西安：西安電子科技大學(xué)，2021.

[8] 孟利霞.基于深度學(xué)習(xí)的車輛行人檢測(cè)方法研究[D].太原：中北大學(xué)，2021.

[9] 賈旭強(qiáng).基于深度學(xué)習(xí)的船舶目標(biāo)檢測(cè)方法研究[D].蘭州：蘭州大學(xué)，2021.

[10] 胡俊超.基于深度學(xué)習(xí)的多道路場(chǎng)景多尺度車輛目標(biāo)檢測(cè)算法優(yōu)化研究[D].成都：西南交通大學(xué)，2021.

[11] HAN J H， LIANG X W， XU H， et al. SODA10M： A large?scale 2D self/semi?supervised object detection dataset for autonomous driving [EB/OL]. [2021?11?08]. https：//arxiv.org/abs/2106.11118？context=cs.

[12] 朱佳麗，宋燕.基于遷移學(xué)習(xí)的注意力膠囊網(wǎng)絡(luò)[J].智能計(jì)算機(jī)與應(yīng)用，2021，11（2）：44?49.

[13] 郭玉彬.基于視頻圖像的車輛檢測(cè)跟蹤及行為識(shí)別研究[D].北京：北京交通大學(xué)，2021.