基于無人機視角下的PPYOLOE-IBN 目標(biāo)檢測算法

摘要：為提升無人機視角下車輛檢測的性能，該實驗利用無人機設(shè)備，采集地面和高空視角下的車輛視頻數(shù)據(jù)。提出了PPYOLOE-IBN的檢測算法，將主干網(wǎng)絡(luò)淺層結(jié)構(gòu)中BN層（Batch Normalization Layer） 的一半通道結(jié)構(gòu)替換為IN層（In?stance Normalization Layer） ，降低了光照、視角等客觀因素的影響。在自建的車輛數(shù)據(jù)集上，算法的平均精度（Mean Aver?age Precision，mAP） 達(dá)到了81.8%，相比改進(jìn)前的PPYOLOE算法提升了2.6%；與以Transformer為架構(gòu)的RT-DETR算法相比，高出3.3%。最后在公開數(shù)據(jù)集UA-DETRAC上作進(jìn)一步對比，驗證算法的有效性。

關(guān)鍵詞：無人機；小目標(biāo)檢測；PPYOLOE

中圖分類號：TP399 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）31-0005-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID） ：

0 PPYOLOE-IBN 目標(biāo)檢測算法

無人機視角下，遠(yuǎn)距離處的目標(biāo)往往非常小，這對算法在小目標(biāo)檢測方面提出了更高的要求。為更好地提取車輛的外觀信息，對現(xiàn)有的PPYOLOE方法進(jìn)行改進(jìn)，提出PPYOLOE-IBN目標(biāo)檢測算法。PPYOLOE是一種高效的目標(biāo)檢測模型，結(jié)合了YOLO（You Only Look Once） 的快速檢測能力和PaddlePaddle 優(yōu)化技術(shù)，用于實現(xiàn)實時且準(zhǔn)確的目標(biāo)識別。PPYOLOE 的主干網(wǎng)絡(luò)如圖1 所示，主要由多個CS?PResStage（CSPRes） 結(jié)構(gòu)組成。

CSPRes的具體結(jié)構(gòu)如圖2，主要是結(jié)合了CSP3[1]（Cross Stage Partial Network） 的模型思想，利用RepVGG模塊[2]對傳統(tǒng)殘差網(wǎng)絡(luò)ResNet[3]進(jìn)行改進(jìn)的一種網(wǎng)絡(luò)結(jié)構(gòu)。其中具體的ResBlock 模塊和RepVGG模塊如圖3所示。

由圖3倒推可知，BN層是CSPRes網(wǎng)絡(luò)結(jié)構(gòu)的重要組成部分。其在網(wǎng)絡(luò)中對整個批次的數(shù)據(jù)進(jìn)行歸一化，如圖4（a） 所示。然而BN易受光照等因素[4]的干擾，若大量采用會影響網(wǎng)絡(luò)的特征提取及泛化能力。

而如圖4（b） 所示的IN[5]（Instance Normalization） 層則通過對單個樣本的同一通道特征進(jìn)行歸一化[6]，可以降低圖像中顏色、光照、視角等因素的干擾。因此，將部分BN替換為IN，不僅可以彌補BN不足，減少外部因素干擾，還能夠保持網(wǎng)絡(luò)的泛化能力。在維持網(wǎng)絡(luò)性能的同時，增強網(wǎng)絡(luò)對環(huán)境變化的適應(yīng)性。

與此同時，在淺層神經(jīng)網(wǎng)絡(luò)中，由于卷積運算較少，網(wǎng)絡(luò)學(xué)到的是低層次的圖像特征，這些特征更接近原始圖像信息，有助于保留更多的原始信息，但也使得模型對光照、噪聲等外部因素更為敏感[7]。具體如圖5所示，淺層網(wǎng)絡(luò)的感受野較小，Layer2每個神經(jīng)元只能覆蓋Layer1上3×3區(qū)域，當(dāng)面臨光照變化或噪聲影響時，這些局部特征容易受到干擾，導(dǎo)致模型的穩(wěn)定性下降。同時學(xué)習(xí)能力也相對較弱，難以對復(fù)雜的圖像變化進(jìn)行魯棒性處理。相反，深層神經(jīng)網(wǎng)絡(luò)通過多次卷積和池化操作逐漸提取高層次的抽象特征，具有更大的感受野，如圖Layer3的每個神經(jīng)元不僅能夠覆蓋Layer2中相同的3×3區(qū)域，還能夠間接通過Layer2感知到Layer1上更大的5×5區(qū)域。從而能夠捕捉到圖像的全局結(jié)構(gòu)和抽象模式，可以學(xué)習(xí)到更復(fù)雜、抽象的特征表示，從而對光照、噪聲等外部因素具有一定的魯棒性。

綜上，為避免大量使用BN層和在網(wǎng)絡(luò)淺層帶來的干擾和影響。本文提出了一種融合了批歸一化（BN） 和實例歸一化（IN） 的方法，改進(jìn)了CSPRepResNet 中的CSPRes結(jié)構(gòu)，如圖6所示。在主干網(wǎng)絡(luò)的淺層結(jié)構(gòu)塊中，將原先CSPRes結(jié)構(gòu)中卷積操作后的通道數(shù)一半替換為IN，其余部分保持不變（改動部分用紅色框標(biāo)注）。改進(jìn)后多個疊加而成的整體稱為CSPRepResNet-ibn，作為Backbone與Neck、Head等部分構(gòu)成的整體結(jié)構(gòu)稱為PPYOLOE-IBN，如圖7所示。

1 評價指標(biāo)與實驗環(huán)境

目標(biāo)檢測模型的性能評估主要依靠多個評價指標(biāo)，其中，類別平均精度mAP是核心評估指標(biāo)之一。mAP通過整合不同類別上的精確度與召回率曲線，進(jìn)而計算得到的曲線下面積（AUC） ，以此作為衡量模型在廣泛類別上綜合性能的標(biāo)準(zhǔn)。mAP值越接近于1，表明模型的性能越佳。其計算公式如式（1） 所示，式中：k 為類別數(shù)，APi 代表第i 個類別的平均精度。speed為檢測速度，即每幀檢測耗時。

PPYOLOE-IBN 實驗采用paddle深度學(xué)習(xí)框架，以ubantu22.04.3 作為操作系統(tǒng)，采用4 張型號為NVIDIA GeForce RTX 2080Ti 的顯卡并行訓(xùn)練，以CSPResNetb_s_pretrained.pdparams模型作為網(wǎng)絡(luò)的初始化權(quán)重，實驗的初始學(xué)習(xí)率為0.01，動量為0.9，每迭代10epoch保存一次訓(xùn)練模型，共計20次。

2 數(shù)據(jù)集構(gòu)建

運用DarkLabel軟件對無人機采集得到的數(shù)據(jù)進(jìn)行標(biāo)注。在此過程中，通過調(diào)整前后幀的圖片間隔增加圖片之間的差異性，有助于防止訓(xùn)練過程中出現(xiàn)訓(xùn)練速度緩慢和泛化能力變差的情況。最后將標(biāo)注得到的17 931張xml文件按8∶1∶1 比例進(jìn)行分配，其中訓(xùn)練集14 345 張，驗證集1 794 張，測試集1 794 張，數(shù)據(jù)集類別為car、van、truck。

3 實驗結(jié)果

為了驗證本文提出車輛檢測方法的有效性，在自建數(shù)據(jù)集上對比其他常見主流算法的性能。（其余算法以上述同樣的實驗設(shè)置，在Pytorch框架下進(jìn)行訓(xùn)練和驗證），為防止偶然因素造成的實驗誤差，各進(jìn)行3次實驗取平均值進(jìn)行對比，最終的結(jié)果如表1所示。

由表1可知，本文提出的檢測算法Map達(dá)81.8%，均高于其他目標(biāo)檢測算法。其中，與PPYOLOE檢測速度相近，Map則高出2.6%；與以Transformer為架構(gòu)的RT-DETR檢測算法相比，Map高出3.3%，但由于參數(shù)量變大的原因，檢測時間也相應(yīng)變大；與CSPDark?net-53為主干網(wǎng)絡(luò)的YOLOv5算法相比提高5.9%，而Fater-RCNN和SSD的檢測性能較差，mAP僅為66.4% 和70.2%，精度無法滿足要求。圖8從左到右各列分別為RT-DETR、PPYOLOE以及本文算法在同一幀下的測試效果對比圖。實驗結(jié)果表明，RT-DETR對小目標(biāo)的檢測效果不佳，無法進(jìn)行準(zhǔn)確的識別，效果不及PPYOLOE以及本文算法。本文算法與PPYOLOE 相比，對目標(biāo)的檢測更加穩(wěn)定，不僅在置信度方面也有所提升，同時對于遠(yuǎn)處小目標(biāo)，也能夠檢測出來，更有助于無人機視角下車輛的檢測。

為作進(jìn)一步驗證，在公開數(shù)據(jù)集UA-DETRAC上進(jìn)一步對比了性能較好的RT-DETR、PPYOLOE以及本文算法，實驗結(jié)果如表2所示。

4 結(jié)束語

本文提出檢測算法PPYOLOE-IBN。將主干網(wǎng)絡(luò)淺層結(jié)構(gòu)中BN層的一半通道結(jié)構(gòu)替換為IN層，降低了模型因視角差異大、光照等因素的干擾。在自建的數(shù)據(jù)集下進(jìn)行對比試驗，mAP達(dá)到了81.8%，為作進(jìn)一步驗證，在公開數(shù)據(jù)集UA-DETRAC上進(jìn)一步對比了性能較好的RT-DETR、PPYOLOE 以及本文算法。以上實驗結(jié)果表明，本文算法提升了對遠(yuǎn)距離小目標(biāo)車輛的檢測能力，更適用于無人機視角下的車輛檢測。

參考文獻(xiàn)

[1] WANG C Y，MARK LIAO H Y，WU Y H，et al.CSPNet：a newbackbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Seattle， WA， USA. IEEE，2020：14-19.

[2] DING X H，ZHANG X Y，MA N N，et al.RepVGG：making VGGstyleConvNets great again[C]//2021 IEEE/CVF Conference onComputer Vision and Pattern Recognition （CVPR）. Nashville，TN，USA.IEEE，2021：20-25.

[3] HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vi?sion and Pattern Recognition （CVPR）. Las Vegas， NV， USA.IEEE，2016：27-30.

[4] 蘇育挺，陸榮烜，張為.基于注意力和自適應(yīng)權(quán)重的車輛重識別算法[J].浙江大學(xué)學(xué)報（工學(xué)版），2023，57（4）：712-718.

[5] PAN X G，LUO P，SHI J P，et al.Two at once：enhancing learning and generalization capacities via IBN-net[M]//Lecture Notes inComputer Science. Cham： Springer International Publishing，2018：484-500.

[6] WU Y X，HE K M.Group normalization[M]//Lecture Notes in Computer Science. Cham： Springer International Publishing，2018：3-19.

[7] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機學(xué)報，2017，40（6）：1229-1251.

【通聯(lián)編輯：朱寶貴】

基金項目：中央引導(dǎo)地方科技發(fā)展專項（2022L3007） ；福建省自然科學(xué)基金（2020J05029） ； 福建省社會科學(xué)規(guī)劃項目（FJ2021C069）