Rep?YOLOv8車輛行人檢測(cè)分割算法

摘" 要： 車輛行人檢測(cè)分割在自動(dòng)駕駛、智能交通管理等場(chǎng)景廣泛應(yīng)用，但如何提高車輛行人識(shí)別精度以及處理分割不均勻等問(wèn)題一直是項(xiàng)挑戰(zhàn)。針對(duì)上述問(wèn)題，文中提出一種YOLOv8的改進(jìn)算法，該算法采用RepECA作為骨干網(wǎng)絡(luò)，此骨干網(wǎng)絡(luò)使用RepVGG模塊代替原骨干網(wǎng)絡(luò)的卷積層，并融合ECA注意力機(jī)制對(duì)圖像進(jìn)行特征提取，其中RepVGG模塊在檢測(cè)時(shí)轉(zhuǎn)變多分支結(jié)構(gòu)為單路徑結(jié)構(gòu)，不損失訓(xùn)練精度的同時(shí)提升執(zhí)行效率，ECA注意力機(jī)制針對(duì)通道維度的注意力加權(quán)機(jī)制，通過(guò)學(xué)習(xí)通道之間的相關(guān)性，自適應(yīng)地調(diào)整通道的權(quán)重，增加少量模型參數(shù)卻帶來(lái)大的性能提升；在C2f模塊中，改進(jìn)算法加入了eSE自注意力模塊，避免因?yàn)橥ǖ罃?shù)減少造成的通道信息損失，進(jìn)一步提高模型精度。實(shí)驗(yàn)結(jié)果表明，使用Cityscapes數(shù)據(jù)集訓(xùn)練，Rep?YOLOv8算法在檢測(cè)與分割任務(wù)的mAP@0.5指標(biāo)分別達(dá)到85.4%和75.5%，與原YOLOv8相比分別提升了13.4%和16%，推理速度從65 f/s提升至83 f/s。

關(guān)鍵詞： YOLOv8； RepVGG； ECA； eSE； 目標(biāo)檢測(cè)； 語(yǔ)義分割

中圖分類號(hào)： TN911.73?34"""""""""""""""""""""" 文獻(xiàn)標(biāo)識(shí)碼： Anbsp;""""""""""""""""""""""" 文章編號(hào)： 1004?373X（2024）09?0143?07

0" 引" 言

計(jì)算機(jī)視覺(jué)作為計(jì)算機(jī)的眼睛，為智能駕駛[1]、行人追蹤等任務(wù)帶來(lái)了更多的可能性。目標(biāo)檢測(cè)[2?3]和語(yǔ)義分割[4]方法是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向，目標(biāo)檢測(cè)可以對(duì)輸入的圖像進(jìn)行物體檢測(cè)，標(biāo)出圖像中物體位置和物體相應(yīng)的類別，應(yīng)用在智能駕駛中可以實(shí)時(shí)檢測(cè)出行人、車輛和建筑物，有助于自動(dòng)駕駛[5]車輛及時(shí)避開障礙物，完成路線規(guī)劃等，也可以在行人追蹤時(shí)執(zhí)行監(jiān)測(cè)任務(wù)；語(yǔ)義分割是對(duì)輸入圖像中物體生成逐像素的分割掩碼，可以提供路面上自由空間的信息，為自動(dòng)駕駛車輛路線的規(guī)劃和決策提供幫助。

近些年來(lái)，人們?cè)跈z測(cè)分割算法方面進(jìn)行了大量的研究實(shí)驗(yàn)，誕生了許多優(yōu)秀的算法，諸如兩階段方法Mask R?CNN[6]、PANet[7]，還有單階段的YOLO系列方法。YOLO系列[8?11]算法兼具速度和準(zhǔn)確性，能在各種應(yīng)用中進(jìn)行實(shí)時(shí)物體檢測(cè)分割，YOLOv8身為最新一代YOLO模型，更是其中的集大成者。本文Rep?YOLOv8算法沿用YOLOv8的框架結(jié)構(gòu)，通過(guò)不斷堆疊RepVGG[12]模塊并融合ECA[13]（Efficient Channel Attention）注意力機(jī)制代替YOLOv8原有的骨干網(wǎng)絡(luò)，在提升網(wǎng)絡(luò)模型對(duì)物體特征學(xué)習(xí)能力的同時(shí)提升執(zhí)行效率；Rep?YOLOv8還在C2f模塊中添加了eSE[14]（Effective Squeeze?Excitation）模塊，避免因?yàn)橥ǖ罃?shù)減少造成的通道信息損失，進(jìn)一步提高了改進(jìn)模型檢測(cè)與分割的精度。

1" YOLOv8網(wǎng)絡(luò)模型

YOLOv8是Ultralytics開發(fā)出的最新YOLO系列模型，在YOLOv5的基礎(chǔ)上引入了新的結(jié)構(gòu)，進(jìn)一步提升了性能和擴(kuò)展性。YOLOv8設(shè)計(jì)快速、準(zhǔn)確且易于使用，令它成為各種物體檢測(cè)與跟蹤、實(shí)例分割、圖像分類和姿態(tài)估計(jì)任務(wù)的絕佳選擇。

YOLOv8整體結(jié)構(gòu)大致分為三個(gè)部分，即骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、預(yù)測(cè)頭網(wǎng)絡(luò)三部分。

YOLOv8的整體結(jié)構(gòu)如圖1所示，YOLOv8輸入端使用自適應(yīng)圖片縮放，將輸入圖片調(diào)整至合適的尺寸，再將處理后的圖片傳至骨干網(wǎng)絡(luò)。YOLOv8的骨干網(wǎng)絡(luò)由CBS模塊、C2f模塊和SPPF模塊組成，整體仍然沿用YOLOv5的CSP思想，不過(guò)為了滿足更輕量化的需求，用C2f模塊替換C3模塊。CBS模塊即卷積、批歸一化和SiLU激活函數(shù)，這樣組合能提高模型的穩(wěn)定性，加快收斂速度，防止梯度消失。C2f模塊相較于C3模塊增加跳躍連接和額外的Split操作，使模型的梯度流更豐富。在SPPF模塊中，通過(guò)池化和卷積操作進(jìn)行特征融合，自適應(yīng)地融合各種尺度的特征信息，從而增強(qiáng)模型的特征提取能力。在YOLOv8的頸部網(wǎng)絡(luò)中，頸部網(wǎng)絡(luò)對(duì)從骨干網(wǎng)絡(luò)提取到的特征進(jìn)行處理，使用PAN和FPN[15]網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)自上向下與自下向上的跨層連接使特征更充分融合。在最后的預(yù)測(cè)頭網(wǎng)絡(luò)，使用目前主流的解耦頭結(jié)構(gòu)，將分類和檢測(cè)頭分離，根據(jù)分類和回歸的分?jǐn)?shù)加權(quán)得到的分?jǐn)?shù)來(lái)確定正負(fù)樣本，有效提升模型性能，也拋棄了Anchor?Based，使用更靈活、準(zhǔn)確的Anchor?Free適應(yīng)不同尺寸和形狀的目標(biāo)。從YOLOv8的改進(jìn)部分不難看出，設(shè)計(jì)者在模型輕量化和性能提升方面做出了很多的努力。

2" Rep?YOLOv8及其改進(jìn)方法

2.1" Rep?YOLOv8整體架構(gòu)

為了降低模型的復(fù)雜度，而又不會(huì)因此影響檢測(cè)分割的結(jié)果，Rep?YOLOv8的骨干網(wǎng)絡(luò)將RepVGG模塊融合ECA注意力機(jī)制，使之能夠自適應(yīng)地調(diào)整通道特征的權(quán)重，并在訓(xùn)練后的檢測(cè)任務(wù)中通過(guò)結(jié)構(gòu)重參數(shù)化將多分支結(jié)構(gòu)轉(zhuǎn)變?yōu)閱温窂浇Y(jié)構(gòu)，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，避免多分支結(jié)構(gòu)在算力上的浪費(fèi)；在Rep?YOLOv8模型的C2f模塊中加入了eSE自注意力模塊，避免因?yàn)橥ǖ罃?shù)減少造成的通道信息損失，進(jìn)一步提升模型在精度上的表現(xiàn)。

2.2" RepVGG模塊

2.2.1" RepVGG模塊原理

RepVGG網(wǎng)絡(luò)是一種結(jié)構(gòu)簡(jiǎn)單高效的網(wǎng)絡(luò)結(jié)構(gòu)，它通過(guò)不斷堆疊RepVGG模塊從而構(gòu)建整個(gè)網(wǎng)絡(luò)，相比于其他網(wǎng)絡(luò)為了提升精度不斷增加網(wǎng)絡(luò)深度導(dǎo)致模型過(guò)于復(fù)雜推理速度慢，RepVGG在速度和精度上的均衡表現(xiàn)良好，提升模型精度的同時(shí)提升檢測(cè)速度、降低模型的參數(shù)量。在核心思想上，RepVGG網(wǎng)絡(luò)使用了結(jié)構(gòu)重參數(shù)化將訓(xùn)練模型和推理模型分割而來(lái)，如圖2所示，它在對(duì)模型訓(xùn)練時(shí)會(huì)采用一個(gè)類似于Resnet的多分支結(jié)構(gòu)，該結(jié)構(gòu)包含兩個(gè)卷積操作：BN層和ReLU激活函數(shù)，它在推理時(shí)可轉(zhuǎn)化為類似于VGG的單路徑結(jié)構(gòu)。多分支結(jié)構(gòu)在訓(xùn)練過(guò)程中能夠讓網(wǎng)絡(luò)保持一個(gè)很好的性能表現(xiàn)，而單路徑的串行結(jié)構(gòu)在推理階段又能顯著地提高推理速度。

Rep?YOLOv8模型的骨干網(wǎng)絡(luò)在RepVGG網(wǎng)絡(luò)原理的基礎(chǔ)上進(jìn)行了改進(jìn)，用RepVGG模塊替換原YOLOv8骨干網(wǎng)絡(luò)中的卷積模塊，圖3是RepVGG模塊結(jié)構(gòu)，可以看到訓(xùn)練時(shí)RepVGG模塊并行了3個(gè)分支：一個(gè)卷積核大小為3×3的主分支，一個(gè)卷積核大小為1×1的分支以及一個(gè)只連BN層的單位分支。在訓(xùn)練時(shí)要將3個(gè)分支的輸出相加得到最終輸出結(jié)果。在執(zhí)行檢測(cè)任務(wù)時(shí)，利用結(jié)構(gòu)重參數(shù)化的方法合并分支，成為簡(jiǎn)單的串行結(jié)構(gòu)，避免算力浪費(fèi)。

2.2.2" 結(jié)構(gòu)重參數(shù)化

在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)過(guò)程中，BN層的加入帶來(lái)諸多優(yōu)勢(shì)，能夠緩解梯度消失和梯度爆炸，能加速網(wǎng)絡(luò)的收斂速度，也不可避免地帶來(lái)了許多運(yùn)算上的繁雜。在RepVGG中大量使用了卷積和BN層的結(jié)構(gòu)，若將卷積和BN層合并，變成一個(gè)單路徑的結(jié)構(gòu)，便可節(jié)約部分計(jì)算資源，提高模型的性能，增加網(wǎng)絡(luò)的前向推理速度，這就是結(jié)構(gòu)重參數(shù)化的思想基礎(chǔ)。下面是結(jié)構(gòu)重參數(shù)化中卷積和BN層合并的推導(dǎo)過(guò)程。

首先進(jìn)行卷積，卷積層計(jì)算公式如式（1）所示：

[Conv（x）=w（x）+b] （1）

式中：[w（x）]為權(quán)重函數(shù)；[b]為偏置。

對(duì)于特征圖第[i]個(gè)通道，BN層的計(jì)算公式如式（2）所示：

[BNConv（x）=γix-μiσ2+ε+βi] （2）

式中：[μi]是均值；[σ2]是方差；[γ]是尺度縮放因子；[β]是平移因子；[ε]是常量。

將式（1）代入式（2）可得計(jì)算公式如式（3）所示：

[BN（x）=γw（x）+b-μσ2+ε+β] （3）

合并后新卷積層對(duì)應(yīng)的權(quán)重如式（4）所示：

[Wfused=γ?w（x）σ2+ε] （4）

對(duì)應(yīng)卷積核新的偏置如式（5）所示：

[Bfused=γb-μσ2+ε+β] （5）

將式（4）代入式（5）可得：

[BN（x）=Wfused+Bfused] （6）

根據(jù)推導(dǎo)可知：BN層直接合并到了卷積層的運(yùn)算，卷積核縮放了一定的倍數(shù)，對(duì)偏置進(jìn)行了改變，減少了原有BN層的參數(shù)量。結(jié)構(gòu)重參數(shù)化原理如圖4所示。

由圖4左圖可以看出：將3×3卷積和BN層融合成為了一個(gè)3×3卷積；將1×1的卷積填充為3×3的卷積再與BN層融合為3×3卷積；對(duì)于只有BN的分支來(lái)說(shuō)，由于沒(méi)有卷積層，所以做恒等映射，故BN層可以轉(zhuǎn)換成3×3卷積，最后進(jìn)行多分支融合，得到融合的3×3卷積網(wǎng)絡(luò)層。圖4右圖是參數(shù)量變化的過(guò)程，可以看出經(jīng)過(guò)結(jié)構(gòu)重參數(shù)化，從一個(gè)3×3卷積、一個(gè)1×1卷積和3個(gè)BN層降低參數(shù)為一個(gè)3×3卷積網(wǎng)絡(luò)層，既減少了模型的參數(shù)量，又加快了模型的推理速度。

2.3" 注意力機(jī)制

注意力機(jī)制在計(jì)算機(jī)視覺(jué)的圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)義分割等任務(wù)中發(fā)揮著重要的作用，它可以在處理輸入的數(shù)據(jù)時(shí)進(jìn)行加權(quán)處理，在執(zhí)行深度卷積神經(jīng)網(wǎng)絡(luò)任務(wù)時(shí)，加強(qiáng)重要信息關(guān)注并忽略不必要的信息。Rep?YOLOv8在骨干網(wǎng)絡(luò)的RepVGG模塊中加入ECA注意力機(jī)制，通過(guò)調(diào)整對(duì)輸入數(shù)據(jù)的關(guān)注度，以提高模型的準(zhǔn)確率和性能。

2.3.1" ECA通道注意力機(jī)制

通道注意力機(jī)制在提高神經(jīng)網(wǎng)絡(luò)性能方面有著巨大潛力，但是大多被設(shè)計(jì)成復(fù)雜的結(jié)構(gòu)用以實(shí)現(xiàn)更好的性能，這無(wú)疑增加了模型的復(fù)雜度。ECA注意力模塊結(jié)構(gòu)簡(jiǎn)單卻能帶來(lái)明顯的增益效果，它通過(guò)剖析SE通道注意力模塊，發(fā)現(xiàn)其同時(shí)獲取所有通道之間的相關(guān)性是低效的，因此ECA模塊在SE模塊基礎(chǔ)上進(jìn)行改進(jìn)。SE[16]模塊使用FC（Fully Connected）層學(xué)習(xí)通道注意信息，ECA模塊改為使用1×1卷積學(xué)習(xí)通道注意信息，通過(guò)快速一維卷積完成跨通道信息間的交互，減少了模型的參數(shù)量，在每次卷積任務(wù)中僅有部分通道起作用，更好地完成跨通道信息的交互。卷積核大小根據(jù)通道維度映射自適應(yīng)調(diào)整大小，使通道數(shù)較大的層進(jìn)行更多的跨通道交互，大幅提高通道學(xué)習(xí)效率。

ECA注意力模塊如圖5所示，首先模塊對(duì)輸入的特征圖進(jìn)行空間特征壓縮，通過(guò)全局平均池化得到1×1×[C]的特征圖；然后根據(jù)公式計(jì)算得到自適應(yīng)的一維卷積核大小，通過(guò)一維卷積學(xué)習(xí)通道之間的相關(guān)性，輸出1×1×[C]的通道注意力信息，并將其與原始輸入特征圖融合，得到最終具有通道注意力信息的特征圖。其中，自適應(yīng)計(jì)算卷積核大小的公式為：

[k=Φ（C）=log2 C+bγodd] （7）

式中：[k]表示卷積核的大??；[C]表示通道數(shù)；[γ]和[b]為自適應(yīng)計(jì)算調(diào)整的參數(shù)；[?odd]表示[k]取奇數(shù)。

2.3.2" eSE注意力機(jī)制

SE注意力模塊是通過(guò)自適應(yīng)地調(diào)整每個(gè)通道的權(quán)重，以提高網(wǎng)絡(luò)性能。SE模塊為了避免較高模型復(fù)雜度，第一個(gè)FC層使用縮減參數(shù)[r]將輸入特征通道數(shù)[C]減小到[Cr]，第二個(gè)FC層將被縮減的通道擴(kuò)展到原始通道尺寸[C]，在這一過(guò)程中，通道降維導(dǎo)致了通道信息的丟失。eSE模塊在此基礎(chǔ)上進(jìn)行了改進(jìn)，僅僅使用一個(gè)通道數(shù)為[C]的FC層代替了兩個(gè)FC層，從而保留通道信息，提升模型的性能。

在Rep?YOLOv8的C2f模塊中，首先將輸入經(jīng)過(guò)第一層卷積層進(jìn)行拆分，分成兩部分：一部分直接經(jīng)過(guò)[n]個(gè)Bottleneck，另一部分經(jīng)過(guò)每個(gè)操作層后都會(huì)再進(jìn)行一次拆分，分出一個(gè)跳躍連接，所有分支的多元化特征圖匯集于eSE模塊。如圖6所示，特征圖在eSE模塊經(jīng)過(guò)全局平均池化、全連接后，學(xué)習(xí)并輸出通道注意力信息，經(jīng)過(guò)特征映射以元素方式融合到特征圖中。

3" 實(shí)驗(yàn)結(jié)果與分析

3.1" 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)中所使用的Cityscapes數(shù)據(jù)集為公開數(shù)據(jù)集，是一個(gè)大規(guī)模城市景觀數(shù)據(jù)集，它采集自德國(guó)及附近的50個(gè)城市，包括春夏秋三個(gè)季節(jié)的街區(qū)場(chǎng)景，且使用雙目相機(jī)獲取了立體視覺(jué)視頻序列，可用于行人和汽車使用的實(shí)例分割。在使用中選擇左目成像的5 000張精細(xì)標(biāo)注圖片，這5 000張圖片被劃分為2 975張訓(xùn)練集、500張驗(yàn)證集以及1 525張測(cè)試集。

3.2" 實(shí)驗(yàn)環(huán)境與參數(shù)配置

實(shí)驗(yàn)環(huán)境：Ubuntu 1804操作系統(tǒng)，顯卡雙卡NVIDIA TITAN Xp，訓(xùn)練平臺(tái)Python 3.8，深度學(xué)習(xí)框架PyTorch，模型基型為YOLOv8s。模型訓(xùn)練參數(shù)設(shè)置：Epoch大小為200，批大小batch_size為32，其余參數(shù)為默認(rèn)值。

3.3" 評(píng)價(jià)指標(biāo)

本文主要使用下面的幾種評(píng)價(jià)指標(biāo)對(duì)算法的結(jié)果進(jìn)行評(píng)估。

精確度（[P]）和召回率（[R]）的計(jì)算公式如式（8）和式（9）所示：

[P=TTPTTP+FFP] （8）

[R=TTPTTP+FFN] （9）

式中：[TTP]（True Positive）表示正確識(shí)別圖像中的待檢測(cè)目標(biāo)且IoU大于閾值；[FFP]（False Positive）表示沒(méi)有正確識(shí)別圖像中的待檢測(cè)目標(biāo)且IoU小于閾值；[FFN]（False Negative）表示沒(méi)有檢測(cè)到圖像中的目標(biāo)。

平均精度mAP的計(jì)算公式如式（10）所示：

[m=1Nn=0N01Pn（r）dr] （10）

式中：[N]代表檢測(cè)目標(biāo)的類別個(gè)數(shù)；[Pn]表示某一類別的AP值。

mAP@0.5是將IoU設(shè)為0.5，然后計(jì)算每一類圖片的AP，最后將所有類別作平均，即mAP。

幀速（FPS）表示模型每秒能處理圖片的數(shù)量，通常用于衡量模型的實(shí)時(shí)性，輔以參數(shù)量和計(jì)算量（GFLOPs）綜合判別模型性能。

3.4" 實(shí)驗(yàn)結(jié)果

為了更好地展現(xiàn)改進(jìn)后模型的性能提升，使用Cityscapes數(shù)據(jù)集在相同訓(xùn)練環(huán)境下對(duì)Rep?YOLOv8算法和原YOLOv8算法實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，如圖7和圖8所示。其中圖7a）是Rep?YOLOv8算法車輛行人檢測(cè)結(jié)果，圖7b）是車輛行人分割的結(jié)果；圖8a）為原YOLOv8算法車輛行人檢測(cè)結(jié)果，圖8b）是車輛行人分割的結(jié)果。在圖中展示了改進(jìn)前后模型每個(gè)類的mAP@0.5值以及總的mAP值和[P?R]曲線。

不難看出，Rep?YOLOv8檢測(cè)和分割結(jié)果的[P?R]曲線下面積大于原YOLOv8模型，原YOLOv8檢測(cè)與分割任務(wù)的mAP@0.5指標(biāo)分別為71.8%和59.5%，Rep?YOLOv8算法在檢測(cè)與分割任務(wù)的mAP@0.5指標(biāo)分別達(dá)到了85.4%和75%，同比分別提升了13.6%和15.5%，并且Rep?YOLOv8推理速度從65 f/s提升至83 f/s，模型參數(shù)量由11.2M降低至10.9M，改進(jìn)后的模型不僅更加輕量化，并且在性能的表現(xiàn)上更加優(yōu)異。

使用多個(gè)先進(jìn)的語(yǔ)義分割模型與Rep?YOLOv8作比較。在Cityscapes數(shù)據(jù)集上的表現(xiàn)如表1所示，使用mAP@0.5值作為評(píng)估指標(biāo)，Rep?YOLOv8與SegNet、CCNet、DANet、UperNet、OCRNet、DeepLabv3+相比，在精度上分別提升了8.3%、3.6%、1.1%、2.5%、1.6%、0.8%，其中與Segformer以及SETR?MLA相比雖然精度略微下降了0.9%、1.1%，但是在模型的參數(shù)量上Rep?YOLOv8明顯小于這兩者，模型更輕巧簡(jiǎn)單、更適合移動(dòng)設(shè)備輕量化的需求，Rep?YOLOv8與這些先進(jìn)的模型相比，在模型整體性能的平衡上做得更好。

為更好地展現(xiàn)Rep?YOLOv8的檢測(cè)效果，在圖9中可視化對(duì)比原YOLOv8模型、采用RepECA為骨干結(jié)構(gòu)的YOLOv8模型以及Rep?YOLOv8模型在車輛行人檢測(cè)中的檢測(cè)效果。

從圖9中第一排圖片可以看出，Rep?YOLOv8在面對(duì)多尺度的目標(biāo)時(shí)，檢測(cè)分割上的表現(xiàn)仍然很好，但是采用RepECA為骨干結(jié)構(gòu)的YOLOv8模型以及Rep?YOLOv8模型卻在圖片遠(yuǎn)景的車輛小目標(biāo)檢測(cè)時(shí)出現(xiàn)了不同程度的目標(biāo)缺失；在第二排圖片中，出現(xiàn)了多個(gè)物體檢測(cè)目標(biāo)，包括車輛和行人兩大類別，與Rep?YOLOv8相比，采用RepECA為骨干結(jié)構(gòu)的YOLOv8將遠(yuǎn)景的路牌誤判為人，原YOLOv8模型在檢測(cè)時(shí)丟失了圖片右側(cè)的人體目標(biāo)；在第三排圖片中，有著密集的車輛人群、復(fù)雜的光影變化以及大量周圍物體遮擋，采用RepECA為骨干結(jié)構(gòu)的YOLOv8在車輛的分割效果上明顯不如Rep?YOLOv8，在目標(biāo)識(shí)別上，由于遮擋和光影變化的影響，將電瓶車和樹木錯(cuò)誤識(shí)別為人體，YOLOv8在右側(cè)出現(xiàn)的誤判現(xiàn)象則更為明顯。

4" 結(jié)" 語(yǔ)

Rep?YOLOv8算法在YOLOv8原理的基礎(chǔ)上進(jìn)行改進(jìn)，使用RepECA作為模型的骨干網(wǎng)絡(luò)，并在C2f模塊中插入eSE模塊。物體遮擋、光影變化、目標(biāo)擁擠等復(fù)雜環(huán)境中進(jìn)行車輛行人的檢測(cè)分割任務(wù)，改進(jìn)算法在推理速度、檢測(cè)分割精度的表現(xiàn)上都有明顯的提升，與其他先進(jìn)模型對(duì)比更輕量化，推理速度更快，模型整體性能更均衡，適合應(yīng)用于移動(dòng)設(shè)備。

注：本文通訊作者為華杭波。

參考文獻(xiàn)

[1] 彭湃，耿可可，王子威，等.智能汽車環(huán)境感知方法綜述[J].機(jī)械工程學(xué)報(bào)，2023，59（20）：281?303.

[2] 劉子洋，徐慧英，朱信忠，等.Bi?YOLO：一種基于YOLOv8改進(jìn)的輕量化目標(biāo)檢測(cè)算法[J/OL].計(jì)算機(jī)工程與科學(xué)：1?15[2023?11?08].http：//kns.cnki.net/kcms/detail/43.1258.TP.20231107. 1657.002.html.

[3] 劉彥清.基于YOLO系列的目標(biāo)檢測(cè)改進(jìn)算法[D].長(zhǎng)春：吉林大學(xué)，2022.

[4] 黃濤，李華，周桂，等.實(shí)例分割方法研究綜述[J].計(jì)算機(jī)科學(xué)與探索，2023，17（4）：810?825.

[5] 張利豐，田瑩.改進(jìn)YOLOv8的多尺度輕量型車輛目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用，2024，60（3）：129?137.

[6] HE K， GKIOXARI G， DOLLAR P， et al. Mask R?CNN [J]. IEEE transactions on pattern analysis and machine intelligence， 2020， 42（2）： 386?397.

[7] LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 8759?8768.

[8] REDMON J， FARHADI A. YOLOv3： An incremental improvement [EB/OL]. （2018?04?08） [2022?11?20]. https：// arxiv.org/abs/1804.02767.

[9] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection [EB/OL]. （2020?04?23） [2022?11?25]. https：//arxiv.org/abs/2004.10934.

[10] ZHAO Y， SHI Y， WANG Z. The improved YOLOV5 algorithm and its application in small target detection [C]// International Conference on Intelligent Robotics and Applications. Heidelberg： Springer， 2022： 679? 688.

[11] WANG C Y， BOCHKOVSKIY A， LIAO H. YOLOv7： Trainable bag?of?freebies sets new state?of?the?art for real?time object detectors [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 7464?7475.

[12] DING X， ZHANG X， MA N， et al. RepVGG： Making VGG?style ConvNets great again [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 13733?13742.

[13] WANG Q， WU B， ZHU P， et al. ECA?Net： Efficient channel attention for deep convolutional neural networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 11531?11539.

[14] LEE Y， PARK J. CenterMask： Real?time anchor?free instance segmentation [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 13903?13912.

[15] KIRILLOV A， GIRSHICK R， HE K， et al. Panoptic feature pyramid networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 6399?6408.

[16] HU J， SHEN L， SUN G. Squeeze?and?excitation networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 7132?7141.

Rep?YOLOv8 vehicle and pedestrian detection segmentation algorithm

WANG Yisong， HUA Hangbo， KONG Ming， LIANG Xiaoyu

（School of Metrology and Measurement Engineering， China Jiliang University， Hangzhou 310018， China）

Abstract： Vehicle and pedestrian detection and segmentation are widely applied in scenarios such as autonomous driving and intelligent traffic management. However， improving the accuracy of vehicle and pedestrian recognition and addressing issues like uneven segmentation has been remaining a challenge. In view of this， an improved algorithm based on YOLOv8 is proposed. In the algorithm， RepECA is taken as the backbone network， which replaces the convolutional layers of the original backbone network with RepVGG modules， and integrates the efficient channel attention （ECA） mechanism for image feature extraction. The RepVGG module transforms the multi?branch structure into single?path structure during detection， enhancing execution efficiency without sacrificing training accuracy. In view of the attention weighting mechanism of channel?wise， ECA mechanism adaptively adjusts the weight of channels by learning the inter?channel correlations， which adds a few model parameters， but brings great performance improvement. In the C2f module， an eSE （effective squeeze?excitation） self?attention module is incorporated into the improved algorithm to avoid channel information loss caused by a reduction in the number of channels and further enhance the model accuracy. Experimental results， based on the training with the Cityscapes dataset， show that the Rep?YOLOv8 algorithm achieves mAP@0.5 of 85.4% and 75.5% for detection tasks and segmentation tasks， respectively， which represents 13.4% and 16% improvement in comparison with the original YOLOv8. In addition， its inference speed is increased from 65 f/s to 83 f/s.

Keywords： YOLOv8; RepVGG; ECA; eSE; object detection; semantic segmentation

DOI：10.16652/j.issn.1004?373x.2024.09.026

引用格式：王譯崧，華杭波，孔明，等.Rep?YOLOv8車輛行人檢測(cè)分割算法[J].現(xiàn)代電子技術(shù)，2024，47（9）：143?149.

收稿日期：2024?02?23"""""""""" 修回日期：2024?03?29

基金項(xiàng)目：國(guó)家市場(chǎng)監(jiān)督管理總局技術(shù)保障專項(xiàng)（2022YJ21）；浙江省市場(chǎng)監(jiān)督管理局科技計(jì)劃（全額自籌）項(xiàng)目（ZC2023057）

王譯崧，等：Rep?YOLOv8車輛行人檢測(cè)分割算法

王譯崧，等：Rep?YOLOv8車輛行人檢測(cè)分割算法

作者簡(jiǎn)介：王譯崧（1996—），男，山東平度人，碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)。

華杭波（1990—），男，浙江杭州人，博士，講師，研究方向?yàn)榇髿膺b感、激光全息、增強(qiáng)現(xiàn)實(shí)。

王譯崧，等：Rep?YOLOv8車輛行人檢測(cè)分割算法