基于Involution Prediction Head 的小目標(biāo)檢測(cè)算法

安鶴男，鄧武才，管聰，姜邦彥

(1.深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳 518000；2.深圳大學(xué) 微納光電子學(xué)研究院，廣東 深圳 518000)

0 引言

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)基本任務(wù)。隨著硬件GPU 以及卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks，CNN)的不斷發(fā)展，目標(biāo)檢測(cè)取得了顯著的發(fā)展，已廣泛應(yīng)用于自動(dòng)駕駛、視覺搜索、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等許多應(yīng)用領(lǐng)域[1]。目前大多數(shù)最先進(jìn)的目標(biāo)檢測(cè)深度學(xué)習(xí)算法都是基于CNN，主要分為兩大類：兩階段(Two-stage)目標(biāo)檢測(cè)器和單階段(One-stage)目標(biāo)檢測(cè)器。Two-stage檢測(cè)器的典型網(wǎng)絡(luò)有fast R-CNN[2]、mask R-CNN[3]和faster R-CNN[4]。卷積神經(jīng)網(wǎng)絡(luò)將目標(biāo)檢測(cè)的過(guò)程分為兩個(gè)步驟，先使用區(qū)域生成網(wǎng)絡(luò)(Region Proposal Networks，RPN)生成稀疏的候選錨框，然后檢測(cè)對(duì)象的位置和類別。而One-stage 算法則是端到端的目標(biāo)檢測(cè)方法，這類算法直接用一個(gè)CNN 網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的位置和類別，不需要RPN 網(wǎng)絡(luò)來(lái)生成錨框，因而檢測(cè)速度更快。Onestage 檢測(cè)器的典型網(wǎng)絡(luò)有SSD[5]和YOLO[6-9]系列模型。

小目標(biāo)檢測(cè)廣泛存在于目標(biāo)密集圖像和遠(yuǎn)距離成像目標(biāo)圖像中，作為目標(biāo)檢測(cè)的一部分，在現(xiàn)實(shí)中有著同樣重要的需求。無(wú)論是車牌號(hào)檢測(cè)、焊縫圖像檢測(cè)，還是無(wú)人機(jī)航拍圖像，許多場(chǎng)景中都有小目標(biāo)的存在。但由于小目標(biāo)像素信息占比小、紋理特征不明顯，小目標(biāo)的檢測(cè)比大中型目標(biāo)的檢測(cè)更為困難。由此可知，小目標(biāo)檢測(cè)是目標(biāo)檢測(cè)研究領(lǐng)域中具有重要性和挑戰(zhàn)性的研究方向。

1 相關(guān)工作

小目標(biāo)檢測(cè)任務(wù)不僅要對(duì)對(duì)象實(shí)例進(jìn)行正確分類，還需要準(zhǔn)確定位，這時(shí)局部細(xì)粒度信息起到十分重要的作用。一些工作顯示了結(jié)合不同特征層的重要性，而另一些研究顯示了上下文信息是非常有用的。在Onestage 檢測(cè)器中YOLOv4 和YOLOv5 網(wǎng)絡(luò)憑借著高精度和檢測(cè)速度快的優(yōu)點(diǎn)而被廣泛應(yīng)用。YOLOv4 和YOLOv5是在YOLOv3 的基礎(chǔ)之上不斷優(yōu)化和改進(jìn)的版本，它們結(jié)合了大量前人的研究，在主干特征提取網(wǎng)絡(luò)、特征金字塔、數(shù)據(jù)增強(qiáng)和激活函數(shù)等方面進(jìn)行了改進(jìn)，通過(guò)適當(dāng)組合這些技巧的消融研究，證明無(wú)論是速度還是精度上都有所提升，可以在傳統(tǒng)的GPU 上進(jìn)行訓(xùn)練和測(cè)試，獲得實(shí)時(shí)的高精度結(jié)果。

盡管YOLOv4 和YOLOv5 在許多應(yīng)用中已經(jīng)實(shí)現(xiàn)了對(duì)大中型物體的精準(zhǔn)檢測(cè)，但對(duì)于小目標(biāo)檢測(cè)效果不佳，仍有提升的空間。特征提取過(guò)程中多次進(jìn)行下采樣操作，圖像分辨率會(huì)逐漸降低，導(dǎo)致小物體的消失和邊緣信息變得粗糙，不利于小目標(biāo)的檢測(cè)。再加上小目標(biāo)本身特征難以區(qū)分、分辨率低、背景復(fù)雜、上下文信息有限等原因，目前包括YOLOv4 和YOLOv5 在內(nèi)的通用目標(biāo)檢測(cè)算法對(duì)小目標(biāo)的檢測(cè)效果都很差。

針對(duì)通用目標(biāo)檢測(cè)算法在檢測(cè)小目標(biāo)時(shí)檢測(cè)精度低，存在錯(cuò)檢和漏檢等問(wèn)題，本文在相關(guān)文獻(xiàn)[10-14]的基礎(chǔ)上，基于Involution[14]算子和SimAM[13]注意力機(jī)制，提出了一種新型的小目標(biāo)檢測(cè)頭IPH(Involution Prediction Head)模型，并將其運(yùn)用到Y(jié)OLOv4 和YOLOv5 網(wǎng)絡(luò)的檢測(cè)頭部分。為了防止下采樣導(dǎo)致特征信息丟失，還對(duì)PANet 上下文特征融合結(jié)構(gòu)進(jìn)行修改，去除部分下采樣操作。在VOC2007 數(shù)據(jù)集和智能交通檢測(cè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，證明本文所提方法均能提高小目標(biāo)檢測(cè)的APs，有效減少YOLOv4 和YOLOv5 錯(cuò)檢漏檢的情況。

2 提出方法

本文基于YOLOv4 檢測(cè)頭，融合了新型Involution 算子和SimAM 無(wú)參注意力機(jī)制，提出了一種新型的小目標(biāo)檢測(cè)頭IPH 模型。將本文提出的IPH 算法分別運(yùn)用到Y(jié)OLOv4 和YOLOv5 網(wǎng)絡(luò)的檢測(cè)頭部分，與現(xiàn)有的YOLOv4、YOLOv5 以及Retinanet[15]的性能指標(biāo)進(jìn)行了對(duì)比。同時(shí)，為了防止下采樣導(dǎo)致小目標(biāo)邊緣信息丟失，在YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上，去除PANet 網(wǎng)絡(luò)的兩層下采樣操作。在VOC 公共數(shù)據(jù)集與智能交通檢測(cè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),驗(yàn)證所提算法的可行性。

2.1 新型小目標(biāo)檢測(cè)頭IPH 模型

目前大多數(shù)目標(biāo)檢測(cè)算法都是基于CNN，用卷積來(lái)對(duì)圖像進(jìn)行特征提取。文獻(xiàn)[14]提出來(lái)的Involution 新型算子參考卷積算子，設(shè)計(jì)一種與常規(guī)卷積核性質(zhì)相反的算子，該算子的示意圖如圖1 所示。跟卷積的空間權(quán)值共享和通道特異性的性質(zhì)不同，Involution 具有通道權(quán)值共享和空間特異性的特點(diǎn)。在特征層進(jìn)入檢測(cè)頭后，先用一層Involution 操作進(jìn)行加強(qiáng)特征提取再進(jìn)行后面的卷積操作。Involution 層的操作如圖1 所示，利用特征圖中當(dāng)前位置的1×1×C 向量與K2個(gè)1×1×C 的卷積核進(jìn)行卷積操作，經(jīng)過(guò)變換得到圖1 中K×K 的Involution 核的權(quán)重矩陣，每個(gè)像素點(diǎn)對(duì)應(yīng)的Involution 權(quán)重都是不同的，接著使用這些Involution 核對(duì)特征圖進(jìn)行卷積，經(jīng)過(guò)Involution 層后，特征圖的尺寸保持不變。為了平衡精度和參數(shù)量，選擇K 為7 的Involution 核。

圖1 Involution 示意圖

除了使用Involution 算子，還在檢測(cè)頭部分融合了注意力機(jī)制?，F(xiàn)有的注意力機(jī)制往往是通過(guò)子網(wǎng)絡(luò)來(lái)生成注意力權(quán)重，中山大學(xué)[13]從神經(jīng)科學(xué)理論出發(fā)，提出了一種概念簡(jiǎn)單且十分有效的注意力模塊SimAM。該模塊根據(jù)空域抑制的原理，即激活的神經(jīng)元通常會(huì)抑制周圍神經(jīng)元，通過(guò)一個(gè)能量函數(shù)就能為特征圖推導(dǎo)出三維注意力權(quán)值，能量函數(shù)如式(1)所示。

式(1)表明，當(dāng)神經(jīng)元與周圍神經(jīng)元的區(qū)別越大時(shí)能量越低，故每個(gè)神經(jīng)元的重要程度可以通過(guò)1/e*t 來(lái)獲得。該模塊僅通過(guò)一個(gè)能量函數(shù)就能為三維的每一個(gè)像素點(diǎn)都產(chǎn)生一個(gè)對(duì)應(yīng)的權(quán)值，屬于輕量型的無(wú)參注意力模塊。將這一注意力模塊集成到小目標(biāo)檢測(cè)頭第一層卷積之后，批量歸一化(Batch Normalization，BN)層之前，形成最終的IPH 小目標(biāo)檢測(cè)頭模型，結(jié)構(gòu)如圖2 所示。將激活函數(shù)換成了SiLU，SiLU 函數(shù)如式(2)所示，曲線如圖3所示。SiLU 是Sigmoid 和ReLU 的改進(jìn)版，具有無(wú)上界有下界、平滑且非單調(diào)的特性。SiLU 可看做是平滑的ReLU 激活函數(shù)，在深層模型上的效果要優(yōu)于ReLU。

圖2 新型小目標(biāo)檢測(cè)頭IPH 結(jié)構(gòu)圖

圖3 SiLU 激活函數(shù)

f(x)=x·sigmoid(x)(2)

2.2 去下采樣

以公共數(shù)據(jù)集COCO 的物體定義為例，小目標(biāo)是指小于32×32 個(gè)像素點(diǎn)的物體。小目標(biāo)相比于大目標(biāo)分辨率低，難以提取到有鑒別力的特征，導(dǎo)致誤檢率高；小目標(biāo)在圖像中的位置過(guò)小，網(wǎng)絡(luò)預(yù)測(cè)時(shí)偏移一個(gè)像素則對(duì)小目標(biāo)影響巨大；小目標(biāo)更容易出現(xiàn)聚集的情況，導(dǎo)致模型漏檢嚴(yán)重。現(xiàn)在檢測(cè)網(wǎng)絡(luò)一般都是使用CNN 作為特征提取工具，為了增大網(wǎng)絡(luò)的感受野，特征圖尺寸不斷縮小，面積較小的信息在下采樣過(guò)程中逐漸丟失，傳遞不到后面的檢測(cè)器中。

由于小目標(biāo)圖像信息在整張圖片中的占比低，紋理特征不明顯，連續(xù)進(jìn)行下采樣容易丟失小物體的特征信息，且在之后的特征提取中無(wú)法找回。考慮到下采樣操作對(duì)小目標(biāo)檢測(cè)的影響，去除了YOLOv4 和YOLOv5中PANet 網(wǎng)絡(luò)部分的兩層下采樣操作和特征融合過(guò)程，并在VOC2007 和智能交通檢測(cè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了該改進(jìn)方案的有效性。從圖4 中可以看出，改進(jìn)后的特征提取網(wǎng)絡(luò)相較于YOLOv4 原始網(wǎng)絡(luò)少了PANet 右邊的兩層下采樣操作。

圖4 改進(jìn)后的YOLOv4 網(wǎng)絡(luò)框架圖

3 實(shí)驗(yàn)分析

3.1 訓(xùn)練配置

為了評(píng)估網(wǎng)絡(luò)性能，本文將使用新型IPH 檢測(cè)頭的網(wǎng)絡(luò)和原始網(wǎng)絡(luò)在同一數(shù)據(jù)集上進(jìn)行訓(xùn)練，評(píng)價(jià)指標(biāo)包括交并比(Intersection of Union，IoU)為0.5～0.95、0.5 和0.75 時(shí)的精度均值(Average Precision，AP)以及大、中、小物體的精度均值A(chǔ)Pl、APm、APs。訓(xùn)練所使用的服務(wù)器配置如表1 所示，實(shí)驗(yàn)中所有模型都從頭開始訓(xùn)練，Batch size 設(shè)置為8，初始學(xué)習(xí)率設(shè)為0.001，優(yōu)化器使用Adam，總共進(jìn)行300 輪迭代。

表1 服務(wù)器配置

3.2 訓(xùn)練數(shù)據(jù)集

VOC2007 數(shù)據(jù)集訓(xùn)練集總共5 011 張圖片，測(cè)試集4 952 張圖片，總共有20 種常見的類別，無(wú)論是從目標(biāo)的類別上還是數(shù)據(jù)量的規(guī)模上都能滿足大部分模型的訓(xùn)練要求。智能交通電子提示裝置檢測(cè)數(shù)據(jù)集是“先導(dǎo)杯”智能交通檢測(cè)競(jìng)賽中新提出的目標(biāo)檢測(cè)數(shù)據(jù)集。該數(shù)據(jù)集分為三個(gè)類，分別為rect_eye、sphere_eye 和box_eye三種類型的攝像頭裝置，大部分都小于32×32 像素，信息占比低，且特征不明顯，適合用于小目標(biāo)檢測(cè)的研究。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 VOC2007 數(shù)據(jù)集結(jié)果

使用本文提出的IPH 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)YOLOv4 以及YOLOv5 的檢測(cè)頭進(jìn)行了更改，在VOC2007 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，不使用預(yù)訓(xùn)練模型，從頭開始訓(xùn)練300輪，最終的結(jié)果如表2 所示，訓(xùn)練過(guò)程損失曲線如圖5 所示。由表2 的結(jié)果可知，本文提出的IPH 網(wǎng)絡(luò)結(jié)構(gòu)可以直接替換傳統(tǒng)的目標(biāo)檢測(cè)頭，提升通用目標(biāo)檢測(cè)網(wǎng)絡(luò)的小目標(biāo)檢測(cè)精度?，F(xiàn)有的YOLOv4 和Retinanet 網(wǎng)絡(luò)小目標(biāo)檢測(cè)精度APs 只有7%左右，而加了IPH 的YOLOv4 小目標(biāo)檢測(cè)精度比原網(wǎng)絡(luò)提升了1.1%。YOLOv5 使用了Anchor Free 等技巧，對(duì)小物體比較友好，原網(wǎng)絡(luò)APs 達(dá)到了13.4%，在YOLOv5 上使用IPH 后APs 達(dá)到了19.3%，相較于原始網(wǎng)絡(luò)的APs 提升了5.9%，可知本文提出的IPH 結(jié)構(gòu)適合用于小目標(biāo)檢測(cè)，可以有效提升小目標(biāo)檢測(cè)的精度。由損失曲線可知，IPH 模型并沒有影響網(wǎng)絡(luò)的收斂速度，Loss 值反而比原模型更小，說(shuō)明IPH 模型具有更好的魯棒性與識(shí)別精度，更少出現(xiàn)誤檢和漏檢的情況。對(duì)YOLOv4 和YOLOv5 進(jìn)行了去下采樣操作，在VOC2007 數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，從表2 中的結(jié)果可知，去下采樣操作同樣可以有效提升小目標(biāo)檢測(cè)的精度。

圖5 VOC 數(shù)據(jù)集訓(xùn)練損失曲線

表2 不同網(wǎng)絡(luò)在VOC2007 測(cè)試集上的結(jié)果

3.3.2 智能交通檢測(cè)數(shù)據(jù)集結(jié)果

表3 列出了在智能交通電子提示裝置檢測(cè)數(shù)據(jù)集中IPH 和去下采樣改進(jìn)對(duì)精度均值影響的消融研究結(jié)果。通過(guò)表3 的實(shí)驗(yàn)結(jié)果表明，本文提出的新型YOLO小目標(biāo)檢測(cè)頭在YOLOv4 原網(wǎng)絡(luò)的基礎(chǔ)上提升了小目標(biāo)檢測(cè)的精度。在使用去下采樣操作后，小目標(biāo)檢測(cè)的精度再一次得到提升，最終網(wǎng)絡(luò)為YOLOv4+IPH+去下采樣，APs 值比原始YOLOv4 提升了2.8%。

表3 不同網(wǎng)絡(luò)在智能交通檢測(cè)數(shù)據(jù)集上的結(jié)果

分別使用最終改進(jìn)的網(wǎng)絡(luò)和原始YOLOv4 算法對(duì)數(shù)據(jù)集圖片進(jìn)行檢測(cè)，對(duì)比結(jié)果如圖6 所示。第一排為YOLOv4 算法的檢測(cè)結(jié)果，第二排為本文最終改進(jìn)算法的檢測(cè)結(jié)果，可以看到本文提出的網(wǎng)絡(luò)找出了許多YOLOv4原方法漏檢的目標(biāo)。從兩組對(duì)比圖可知，YOLOv4 無(wú)法檢測(cè)出遠(yuǎn)處的攝像頭目標(biāo)，而本文提出的網(wǎng)絡(luò)則能將原網(wǎng)絡(luò)漏框的目標(biāo)檢測(cè)出來(lái)，且檢測(cè)框的置信度較高。對(duì)于第二組圖片左上角的rect_eye 攝像頭，原方法將攝像頭的支架錯(cuò)誤地檢測(cè)成了sphere_eye 攝像頭，而改進(jìn)的方法則沒有出現(xiàn)這種情況。由圖6 的檢測(cè)結(jié)果可知，改進(jìn)后的算法可以有效地改善小目標(biāo)漏檢以及錯(cuò)檢的情況。

圖6 不同方法檢測(cè)效果對(duì)比

4 結(jié)論

在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)任務(wù)中，小目標(biāo)由于像素信息占比小、特征不明顯，很難被檢測(cè)到。為了提高通用目標(biāo)檢測(cè)器在小目標(biāo)檢測(cè)上的精度，本文基于YOLOv4模型，融合Involution 算子和SimAM 注意力機(jī)制，提出了一種新型的小目標(biāo)檢測(cè)頭IPH 模型，并去除PANet 網(wǎng)絡(luò)的下采樣操作，在VOC2007 數(shù)據(jù)集上的結(jié)果表明本文算法對(duì)比目前主流的目標(biāo)檢測(cè)算法能有效提升小目標(biāo)檢測(cè)精度，比傳統(tǒng)檢測(cè)頭更適合用于小目標(biāo)檢測(cè)。通過(guò)在智能交通檢測(cè)數(shù)據(jù)集上的進(jìn)一步消融實(shí)驗(yàn)，證明了IPH算法和去下采樣兩種改進(jìn)方案均能提升小目標(biāo)檢測(cè)的精度，解決原方法錯(cuò)檢及漏檢嚴(yán)重的問(wèn)題。