基于多尺度跨層特征融合的輕量化小目標(biāo)檢測算法

朱柏松,王燕妮

(西安建筑科技大學(xué)信息與控制工程學(xué)院,陜西 西安 710055)

0 引言

目標(biāo)檢測是計(jì)算機(jī)視覺中一項(xiàng)基本任務(wù),它是圖像分割、目標(biāo)跟蹤、動作分析等高級任務(wù)的重要基石。近些年來提出的許多優(yōu)秀目標(biāo)檢測算法逐漸成為社會生活中一些關(guān)鍵技術(shù)的核心,這些技術(shù)在智慧鄉(xiāng)村建設(shè)、智能交通管理、人臉識別等現(xiàn)實(shí)問題中發(fā)揮了巨大的作用。

隨著深度學(xué)習(xí)技術(shù)的進(jìn)步,基于深度學(xué)習(xí)的目標(biāo)檢測算法也取得了顯著的成果。目標(biāo)檢測算法主要衍化為兩種不同類型的方法,就結(jié)構(gòu)流程而言,它們主要分為單階段目標(biāo)檢測方法和雙階段目標(biāo)檢測方法[1]。其中,雙階段目標(biāo)檢測算法是在Girshick等人率先提出的R-CNN算法的基礎(chǔ)上展開的[2]。R-CNN利用選擇性搜索算法獲取候選區(qū)域,通過卷積神經(jīng)網(wǎng)絡(luò)提取區(qū)域特征[3],最后通過支持向量機(jī)(support vector machine,SVM)進(jìn)行分類[4]。Faster-R-CNN是在前人研究的基礎(chǔ)上利用候選區(qū)域生成網(wǎng)絡(luò)替換了傳統(tǒng)的選擇性搜索算法[5]。另一類則不需要產(chǎn)生候選區(qū)域,采用端到端的方式,直接進(jìn)行分類和回歸。代表算法有SSD(single shot mutlibox detector)[7-9],YOLO(you only look once)等[10-11]。YOLO系列算法不再采用窗口滑動,而是將原始圖像分割成互補(bǔ)重合的小方塊,再通過卷積產(chǎn)生不同大小的特征圖[12]。SSD算法則是利用卷積神經(jīng)網(wǎng)絡(luò)提取了不同尺度的特征圖,從而實(shí)現(xiàn)對不同尺度物體的檢測[13]。

在計(jì)算機(jī)視覺領(lǐng)域,一個(gè)極具挑戰(zhàn)性的研究方向是小目標(biāo)檢測。小目標(biāo)物體存在缺乏物體代表性特征等問題,而現(xiàn)有的檢測算法通常專注于檢測全尺寸目標(biāo),沒有對小目標(biāo)的檢測進(jìn)行專有的優(yōu)化。主流的目標(biāo)檢測算法重復(fù)使用池化層、卷積層等提取高級語義信息導(dǎo)致淺層信息不可避免的流失[14]。SSD算法使用多尺度特征并根據(jù)特征層的感受野大小設(shè)置相應(yīng)的先驗(yàn)框,從而檢測不同尺度和縱橫比的目標(biāo)。但是由于每個(gè)特征層獨(dú)立使用,導(dǎo)致對小目標(biāo)的檢測效果并不理想[15-16]。文獻(xiàn)[17]提出了一種結(jié)合特征金字塔(feature pyramid net-works,FPN)的改進(jìn)算法,采用自上而下的融合方式結(jié)合了不同尺度的特征信息,提高了小目標(biāo)的檢測能力。而后NAS-FPN[18]、PANet(path-aggregation network)[19]、BiFPN[20]等性能也取得了一定進(jìn)步,但是其結(jié)構(gòu)相對FPN優(yōu)化仍然較少,對于淺層特征信息的利用并不充足。

針對現(xiàn)階段小目標(biāo)檢測算法精度不佳且計(jì)算資源耗費(fèi)多的問題,本文設(shè)計(jì)了一種輕量化的跨層特征融合算法。

1 理論基礎(chǔ)

1.1 SSD算法

SSD算法是一種基于深度學(xué)習(xí)的單階段多尺度目標(biāo)檢測算法,它繼承了YOLO算法中回歸的思想和Faster R-CNN的錨框機(jī)制,直接在特征圖中生成先驗(yàn)框的坐標(biāo)和分類概率。SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中主干網(wǎng)絡(luò)選用VGG16,并添加了多個(gè)卷積層用于提取圖像的更深層特征,整個(gè)網(wǎng)絡(luò)由VGG16和附加的卷積層級聯(lián)而成。

圖1 SSD網(wǎng)絡(luò)示意圖Fig.1 Network diagram of SSD

SSD算法在網(wǎng)絡(luò)后端構(gòu)造了一個(gè)檢測器,用于對多尺度特征圖進(jìn)行回歸和分類[18]。網(wǎng)絡(luò)總共提取6個(gè)特征圖輸送到檢測器實(shí)現(xiàn)回歸和目標(biāo)種類預(yù)測,其中感受野大的深層特征圖用于預(yù)測大目標(biāo),感受野小的淺層特征圖用于預(yù)測小目標(biāo)。由于特征圖中每個(gè)像素點(diǎn)都會生成不同尺度的先驗(yàn)框用于和真實(shí)框計(jì)算誤差,很大程度上增加了計(jì)算量,于是,使用非極大抑制算法(non maximum suppression,NMS),消除冗余預(yù)測框以獲得最優(yōu)預(yù)測框。

1.2 MobileNetV2網(wǎng)絡(luò)

MobileNetV2網(wǎng)絡(luò)是谷歌研發(fā)的應(yīng)用于移動端和終端的邊緣計(jì)算網(wǎng)絡(luò)[21],區(qū)別于其他復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)模型更小且相對精確。它的主要創(chuàng)新點(diǎn)是倒殘差結(jié)構(gòu)(inverted residuals,IR)和線性瓶頸層[22]。

殘差結(jié)構(gòu)是文獻(xiàn)[23]提出的Resenet網(wǎng)絡(luò)結(jié)構(gòu)中的一個(gè)重要創(chuàng)新結(jié)構(gòu),其目的是為了解決隨著網(wǎng)絡(luò)深度的加深帶來的梯度爆炸和消失。它的優(yōu)勢是使網(wǎng)絡(luò)加深的同時(shí)保證良好的信息獲取[24]。為了解決移動端算力資源受限的問題,MobileNetV2中構(gòu)建了倒殘差結(jié)構(gòu)以實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化。倒殘差結(jié)構(gòu)是建立在深度可分離卷積之上的,通過將傳統(tǒng)卷積分解為深度可分離卷積和逐點(diǎn)卷積,從而使計(jì)算量減小。第一部分稱為深度卷積(depth-wise,DW),它對每一個(gè)輸入通道使用一個(gè)卷積濾波器以完成輕量化濾波;第二部分是1×1逐點(diǎn)卷積(point-wise,PW),它通過分析輸入通道的線性關(guān)系來構(gòu)建新特征。與普通深度可分離卷積不同的是,MobileNetV2創(chuàng)造性地在DW之前又新增了一個(gè)PW,從而構(gòu)成了倒殘差結(jié)構(gòu)。MobileNetV2的另一創(chuàng)新點(diǎn)是線性瓶頸層,即在每個(gè)微結(jié)構(gòu)的末層將容易造成信息損失的激活函數(shù)ReLU替換成線性激活函數(shù)ReLU6,函數(shù)曲線如圖2所示?；締卧K結(jié)構(gòu)如圖3所示,圖中分別為stride=1和stride=2時(shí)的結(jié)構(gòu)。MobileNetV2的整體網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 MobileNetV2結(jié)構(gòu)Tab.1 Structure of MobileNetV2

圖2 Relu6激活函數(shù)曲線Fig.2 Relu6 activation function curve

圖3 MobileNetV2的基本單元模塊Fig.3 Basic unit module of MobileNetV2

2 算法改進(jìn)

MobileNetV2-SSD相對SSD算法雖然在參數(shù)量上得到大幅度降低,但是與SSD算法類似,不考慮不同層之間的關(guān)系,每個(gè)特征層都是獨(dú)立使用的。淺層特征層中缺乏高級語義信息,因此對小目標(biāo)的檢測效果不佳。FPN等特征融合方法雖然在一定程度上利用了淺層細(xì)節(jié)信息,但是淺層信息在傳遞過程中仍然損失較多,實(shí)際效果并不理想。

為解決現(xiàn)有算法對小目標(biāo)檢測效果不佳的相關(guān)問題,提出一種兩階段的特征融合方法。首先使用嵌入了坐標(biāo)注意力機(jī)制(coordinate attention,CA)模塊的MobileNetV2作為骨干網(wǎng)絡(luò),同時(shí)采用倒殘差模塊替換額外的卷積層進(jìn)一步降低模型參數(shù)量;設(shè)計(jì)了特征交叉融合模塊,初步聚合底層特征信息;在PANet的基礎(chǔ)上,添加跨層連接路徑進(jìn)一步豐富網(wǎng)絡(luò)中非相鄰的深層和淺層特征。加入輕量化的注意力機(jī)制模塊ECA(efficient channel attention module),從而突出關(guān)鍵部位特征而抑制無用信息。具體結(jié)構(gòu)圖如圖4所示。

圖4 本文模型結(jié)構(gòu)圖Fig.4 Structure diagram of this model

2.1 網(wǎng)絡(luò)復(fù)雜度分析

使用MobileNetV2做為骨干網(wǎng)絡(luò)有兩個(gè)原因:第一個(gè)是深度可分離卷積方法中,在輸入的每個(gè)通道上都獨(dú)立執(zhí)行空間卷積;另一個(gè)是雖然深度卷積無法升維,但逐點(diǎn)卷積起到了一個(gè)升維的作用,使深度卷積可以在高維度工作,從而減少計(jì)算量。標(biāo)準(zhǔn)卷積的參數(shù)大小為K×K×C1×C2,其中K為卷積核的寬和高,C1和C2分別為輸入通道數(shù)和輸出通道數(shù)。

深度可分離卷積參數(shù)量為K×K×C1+1×1×C1×C2。所以可以推出,使用深度卷積之后,參數(shù)縮小倍數(shù)為

(K×K×C1+1×1×C1×C2)/(K×K×C1×C2)=
(1/C2)+(1/K2)。

2.2 改進(jìn)的MobileNetV2-SSDLite網(wǎng)絡(luò)

MobileNetV2中靠前端的bottleneck模塊,與原SSD的淺層網(wǎng)絡(luò)性能類似,其特征圖雖然分辨率比較高,位置細(xì)節(jié)信息豐富,對小目標(biāo)比較敏感,但是未經(jīng)過一定數(shù)量的卷積操作提取特征,所以其中用來分類的高級語義信息比較少,噪聲較多。針對這一情況,本文在MobileNetV2中前部的3個(gè)倒殘差模塊中嵌入了坐標(biāo)注意力機(jī)制模塊,從而捕獲具有精準(zhǔn)位置信息的空間長距離依賴性,用于增強(qiáng)淺層網(wǎng)絡(luò)的特征提取能力。圖5所示為添加CA模塊前后的類激活熱力圖對比,圖5(a)為原圖,圖5(b)為不添加CA模塊模型輸出的熱力圖,圖5(c)為添加CA模塊模型輸出的熱力圖。圖中高亮區(qū)域?yàn)楸疚哪Ｐ退P(guān)注的目標(biāo),可以發(fā)現(xiàn)添加CA模塊后輸出的熱力圖中,高亮區(qū)域的目標(biāo)輪廓更為清晰。

圖5 CA熱力圖對比Fig.5 Comparison of CA heat maps

坐標(biāo)注意力機(jī)制是一種輕量化和高效的注意力機(jī)制,它巧妙地將位置信息融入進(jìn)通道注意力中,允許網(wǎng)絡(luò)在更大的范圍內(nèi)提取特征。首先,將通道注意力分解為兩個(gè)特征編碼過程,即垂直和水平方向,從而獲得一對具有方向感知的特征圖。通過這種處理,可以在空間方向上捕獲遠(yuǎn)程相關(guān)性,而在另一個(gè)空間方向上保持精確的位置信息。然后,將獲得的特征進(jìn)行擴(kuò)展,并分別用作水平坐標(biāo)和垂直坐標(biāo)的注意力權(quán)重。CA模塊具體結(jié)構(gòu)如圖6所示。

圖6 CA模塊結(jié)構(gòu)Fig.6 CA module structure

同時(shí),借鑒SSDlite[25]的思想,去掉MobileNetV2中的池化層和全連接層,將原SSD中額外的卷積層替換為四個(gè)額外的標(biāo)準(zhǔn)倒殘差模塊(extra inverted residual,EIR),從而使網(wǎng)絡(luò)更加輕量化。

2.3 跨層級特征交叉融合和感受野擴(kuò)張模塊

FPN采用的自上而下的融合方式,通過上采樣將高層特征和底層特征相融合,雖然增強(qiáng)了模型對圖像特征的學(xué)習(xí)能力,但淺層特征在傳遞過程中大幅度丟失,最終導(dǎo)致用于分類和回歸的特征圖中細(xì)節(jié)信息較少,不利于小目標(biāo)的檢測。PANet在FPN基礎(chǔ)上通過添加自下而上的融合路徑傳遞更多的底層特征信息,從而彌補(bǔ)FPN的不足。但是面對密集小目標(biāo)場景和一些特殊場景,PANet則表現(xiàn)出對小目標(biāo)特征學(xué)習(xí)能力的不足。

在此基礎(chǔ)上本文提出一種兩階段的特征融合網(wǎng)絡(luò)。在第一階段,提出特征交叉融合模塊(feature cross fusion moudle,FCFM)。該模塊延續(xù)了SSD算法中抽取多尺度特征圖進(jìn)行檢測的優(yōu)點(diǎn),但是打破了一般特征融合中逐級融合的理念,這種新的融合方法呈現(xiàn)了一種“階躍式”的特征選擇,即交叉抽取不同層級且通道數(shù)跨度較大的特征層。在融合方式中通過添加額外的路徑,可以有效避免淺層特征不可挽回的流失。通過重復(fù)利用淺層特征,可以在不同深度的低層級特征中逐次融入更為多樣化的深層特征。首先從主干網(wǎng)絡(luò)MobileNetV2中尾部抽取3個(gè)倒殘差模塊輸出的特征層IR1,IR2,IR3,再從extra部分抽取EIR4,EIR5,EIR6,EIR7,最后將這7個(gè)特征層重復(fù)交叉融合送入第二階段的網(wǎng)絡(luò)中從而充分利用語義信息和文本特征。具體步驟:將IR1,IR2,EIR4融合,生成新特征層IR1_1;將IR2,EIR4,EIR5融合,生成新特征層IR1_2;將IR3,EIR5,EIR6融合,生成新特征層IR1_3;最后將EIR6,EIR7融合,生成IR1_4。具體結(jié)構(gòu)如圖7所示。

圖7 特征交叉融合模塊Fig.7 Feature intersection and fusion module

所抽取的特征圖IR1,IR2,IR3由骨干網(wǎng)絡(luò)中最后3個(gè)倒殘差層輸出,其網(wǎng)絡(luò)層級較淺,包含了較多的淺層信息。而添加的4個(gè)額外層輸出的EIR4,EIR5,EIR6,EIR7經(jīng)過一系列卷積操作,相對淺層網(wǎng)絡(luò)已經(jīng)獲得了更為抽象的高級語義特征。在第一階段中多次重復(fù)使用了IR2,IR3,EIR4等相對低層級的特征圖,并使之與深層特征圖融合,初步整合了一定的淺層細(xì)粒度信息和深層粗粒度信息,保留了更多的底層特征。

針對小目標(biāo)分辨率低,易融于背景的特點(diǎn),為了能準(zhǔn)確定位各種小目標(biāo),則需要獲取小目標(biāo)周圍更多的上下文信息。在神經(jīng)網(wǎng)絡(luò)中,一般通過下采樣來獲取更多的上下文信息。然而過多的下采樣會導(dǎo)致信息的損失和增加網(wǎng)絡(luò)模型的計(jì)算量,所以受到文獻(xiàn)[26-27]啟發(fā)在新的特征融合結(jié)構(gòu)中添加了基于殘差結(jié)構(gòu)的擴(kuò)張感受野模塊 (residual dilated module,RDM),利用擴(kuò)張卷積獲得更多的上下文信息以適應(yīng)本文任務(wù)。RDM如圖8所示。

圖8 擴(kuò)張感受野模塊Fig.8 Extended receptive field module

在本文的一階段特征融合模塊中,根據(jù)輸入特征圖尺度的不同,在輸入淺層特征圖的RDM模塊里設(shè)置了不同大小擴(kuò)張率的擴(kuò)張卷積來擴(kuò)大感受野。利用殘差結(jié)構(gòu)的思想,RDM模塊具體運(yùn)作方式是將輸入特征圖分配給3個(gè)擴(kuò)張率不同的支路進(jìn)行特征提取,并與具有全局感受野的原始特征圖進(jìn)行融合。其中,感受野的計(jì)算公式為

R=(D-1)(k-1)+k,

(1)

式(1)中,D是擴(kuò)張率,k是卷積核的大小。根據(jù)式(1),RDM1中擴(kuò)張率分別為1,12,18;RDM2中擴(kuò)張率分別為1,6,8;RDM3中擴(kuò)張率分別為1,2,4。在特征融合結(jié)構(gòu)中應(yīng)用具有不同擴(kuò)張率的RDM模塊,可以有效豐富特征圖的上下文信息。另外,在融合結(jié)構(gòu)末端添加ReLU函數(shù),可以使網(wǎng)絡(luò)具有稀疏性,避免過擬合的發(fā)生以及擁有更好的預(yù)測性能。同時(shí),特征融合模塊使用了上采樣來提升深層特征圖的尺度與淺層特征圖保證一致從而完成特征融合,這一過程是利用轉(zhuǎn)置卷積完成的。圖9所示為普通卷積和轉(zhuǎn)置卷積。

圖9 普通卷積和轉(zhuǎn)置卷積Fig.9 Ordinary convolution and transposed convolution

為了進(jìn)一步提升PANet結(jié)構(gòu)對淺層信息的利用率,添加了3條水平連接路徑,即第二階段的跨層特征融合。對于第一階段生成的IR1_1,IR1_2,IR1_3,IR1_4采用改進(jìn)的自下而上的融合方式。骨干網(wǎng)絡(luò)中最后3個(gè)倒殘差層所處網(wǎng)絡(luò)層級較淺,于是重復(fù)利用其生成的淺層特征圖IR1,IR2,IR3,將前一模塊生成的特征圖進(jìn)行相應(yīng)倍數(shù)的下采樣,然后與之分別相加融合,得到新的特征圖。同時(shí)改變了一般意義上PANet的結(jié)構(gòu),IR1_4由網(wǎng)絡(luò)層級較深的EIR6,EIR7融合而成,其包含的更多粗粒度的信息,于是不將其加入PANet結(jié)構(gòu)以減少特征融合時(shí)產(chǎn)生的噪聲和額外的參數(shù)量,具體結(jié)構(gòu)如圖10所示。

圖10 跨層融合模塊Fig.10 Cross-layer fusion module

這樣進(jìn)一步將底層和高層信息流同步整合到網(wǎng)絡(luò)結(jié)構(gòu)中,特征提取更具有魯棒性和區(qū)分度。圖11所示為第一、第二階段特征融合可視化的分步仿真結(jié)果,可以看出在一階段中初步聚合淺層特征后,特征圖聚合的主要是輪廓、紋理、位置等細(xì)粒度信息,在經(jīng)過第二階段模塊后,可以發(fā)現(xiàn)特征圖更加抽象化。最后在網(wǎng)絡(luò)末端添加ECA模塊,抑制冗余特征的影響,該模塊通過捕捉相鄰?fù)ǖ篱g的交互關(guān)系從而關(guān)注模型感興趣的區(qū)域,如圖12所示為ECA模塊的類激活熱力圖,圖12(a)為原圖,圖12(b)為不添加ECA模塊模型輸出的熱力圖,圖12(c)為添加ECA模塊模型輸出的熱力圖。可以看出添加ECA模塊輸出后的熱力圖中,背景信息被更加有效地抑制,突出關(guān)鍵部位特征。

圖11 特征圖可視化Fig.11 Visualization of feature map

圖12 ECA熱力圖對比Fig.12 Comparison of ECA heat maps

2.4 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)也叫數(shù)據(jù)增廣,實(shí)際內(nèi)容是在不增加新數(shù)據(jù)的情況下,讓原有的數(shù)據(jù)集通過裁剪、旋轉(zhuǎn)等方式,產(chǎn)生與增加數(shù)據(jù)相同的效果。為了達(dá)到更好的訓(xùn)練效果,本文通過旋轉(zhuǎn)、裁剪、位移、噪聲等數(shù)據(jù)增強(qiáng)方式,阻止了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不相關(guān)的特征,使輸入到神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集多樣化,從而增強(qiáng)了模型的訓(xùn)練效果。

2.5 損失函數(shù)

訓(xùn)練模型的過程本質(zhì)是使用梯度優(yōu)化函數(shù)降低損失值的過程,同時(shí)對位置和目標(biāo)種類進(jìn)行回歸,所以本文損失函數(shù)沿襲了SSD算法,包括類別損失和定位損失兩部分[28],表達(dá)式為

(2)

其中置信度損失就是多種類別的softmax函數(shù)損失:

(3)

(4)

(5)

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)準(zhǔn)備

3.1.1實(shí)驗(yàn)平臺和參數(shù)設(shè)置

模型搭建使用的硬件設(shè)備:CPU Intel Xeon E5-2686 v4,GPU為NVIDIA 3090,內(nèi)存64 GB,顯存24 GB。操作系統(tǒng)為Windows10 64位,使用python3.8作為編程語言,基于深度學(xué)習(xí)框架pytorch 1.8完成訓(xùn)練和測試。優(yōu)化器使用收斂速度較快的Adam。

在VOC2007+2012數(shù)據(jù)集上訓(xùn)練,損失函數(shù)曲線如圖13所示。訓(xùn)練參數(shù)設(shè)置如表2所示。

表2 訓(xùn)練參數(shù)設(shè)置Tab.2 Training parameter setting

圖13 迭代曲線Fig.13 Iteration curve

3.1.2數(shù)據(jù)集

為了評估改進(jìn)后的算法性能,選取了PASCAL VOC數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證。VOC2007包含訓(xùn)練集5 011張,測試集4 952張;VOC2012中包含訓(xùn)練集5 717張,驗(yàn)證集5 823張。其中包含了21個(gè)類別(包括背景),如人、貓、馬、飛機(jī)、自行車、船、餐桌、盆栽植物等。訓(xùn)練階段使用VOC2007+2012,共16 551張圖片。測試階段使用VOC2007評估算法性能,共4 952張圖片。

3.1.3評價(jià)指標(biāo)

采用平均精度值(mean average precision,mAP)和檢測速度(frames per second,FPS)作為評價(jià)模型的主要指標(biāo)。FPS是指每秒可以檢測圖像的幀數(shù)。mAP是所有類別精確度(average precision,AP)的平均值,AP實(shí)際上是指利用精度值為縱軸,召回率的值為橫軸組成的曲線包絡(luò)出的面積。計(jì)算公式為

(6)

式(6)中,k表示目標(biāo)任務(wù)的類別,APi為第i類的平均精度值。

3.2 實(shí)驗(yàn)結(jié)果定量分析

3.2.1模型性能客觀評價(jià)

為了綜合比較算法的性能,將改進(jìn)的算法和一些主流目標(biāo)檢測算法Faster R-CNN,DSSD,YOLOv5s等進(jìn)行對比,詳細(xì)結(jié)果如表3所示。與SSD算法相比,改進(jìn)后的算法在檢測精度上與其基本保持持平,但模型體積下降了4倍多,有利于植入內(nèi)存受限的設(shè)備;與Faster-RCNN相比,檢測精度提升了3.6%,但是模型體積卻大幅度下降,符合輕量化模型的要求;與YOLOv5s相比,雖然精度輕微下降,但是模型體積得到了大幅減少。總體而言,改進(jìn)后的模型在保證輕量化的同時(shí),檢測精度也有了一定的提升,檢測速度的犧牲也控制在了較小的范圍。

表3 不同算法在PASCL VOC 2007測試集上檢測結(jié)果對比Tab.3 Comparison of detection results of different algorithms on PASCL VOC 2007 test set

為了更清晰地比較改進(jìn)后的算法與其他輕量化目標(biāo)檢測算法對小目標(biāo)的檢測性能,從VOC數(shù)據(jù)集中的20個(gè)類別里挑選了6種具有代表意義的小目標(biāo)類別,如表4所示為不同輕量化模型在這6種類別上的檢測精度?？梢园l(fā)現(xiàn),改進(jìn)后的算法相對于基線算法MobileNetV2+SSD和MobileNetV3+SSD分別提升了4.5%和3.9%。MobileNetV2+SSD的模型體積為18.6 MB,改進(jìn)后的算法僅多耗費(fèi)6.8 MB即在小目標(biāo)類別上有了較多的提升,證明了本文模型針對小目標(biāo)檢測問題所做改進(jìn)的有效性。

表4 小目標(biāo)類別檢測結(jié)果對比Tab.4 Comparison of detection results of small target categories

3.2.3消融實(shí)驗(yàn)

為了能夠直觀地反映出本文中各模塊對模型整體性能的貢獻(xiàn),在VOC2007測試集上進(jìn)行消融實(shí)驗(yàn)的驗(yàn)證,具體結(jié)果如表5所示?？梢钥闯?在骨干網(wǎng)絡(luò)MobileNetV2中加入CA注意力模塊之后,準(zhǔn)確度提升了0.7%,證明CA注意力模塊增強(qiáng)了骨干網(wǎng)絡(luò)的特征提取,有利于小目標(biāo)檢測。加入FCFM模塊后,發(fā)現(xiàn)準(zhǔn)確度提升了1.8%,證明一階段的特征交叉融合在一定程度上聚合了深層和淺層特征。加入跨層融合模塊(cross-layer connection module,CLF)后,準(zhǔn)確度提升了1.5%,證明所提出的跨層級特征融合模塊可以進(jìn)一步聚合深層和淺層特征,更充分地利用細(xì)節(jié)信息。為了驗(yàn)證添加不同注意力機(jī)制模塊對模型的增益,選取SE(squeeze excitation)和ECA模塊進(jìn)行對照實(shí)驗(yàn),結(jié)果表明添加ECA模塊對模型檢測精度提升效果更好。

表5 消融實(shí)驗(yàn)結(jié)果Tab.5 Reuslts of ablation experiments

3.3 實(shí)驗(yàn)結(jié)果定性分析

為了能直觀地展示改進(jìn)后的算法針對小目標(biāo)檢測問題的有效性,在不同室內(nèi)外環(huán)境、小目標(biāo)尺度多變、目標(biāo)與環(huán)境存在遮擋關(guān)系等場景下改進(jìn)后的算法與MobileNetV2+SSD算法的檢測結(jié)果對比如圖14所示。

圖14 檢測結(jié)果對比Fig.14 Detection results of algorithm

可以看出,MobileNetV2+SSD算法對于密集、微小目標(biāo)以及相互遮擋的目標(biāo)等出現(xiàn)漏檢的情況,而改進(jìn)后的算法對于圖片中小型目標(biāo)的檢測效果有著明顯提升。不管是單個(gè)、密集還是存在遮擋的小目標(biāo),改進(jìn)后的算法相對基線算法都可以準(zhǔn)確檢測出更多目標(biāo),表現(xiàn)了更好的檢測效果,證明了本文改進(jìn)算法的有效性。

3.4 遷移實(shí)驗(yàn)

小目標(biāo)往往因重疊或者背景的影響而出現(xiàn)漏檢,只在稀疏的小目標(biāo)或者簡單場景下的小目標(biāo)檢測效果有提升,并不能體現(xiàn)模型的泛化能力。為了驗(yàn)證本文模型的魯棒性和泛化能力,將本文在VOC2007+2012的數(shù)據(jù)集中訓(xùn)練好的模型遷移到密集,復(fù)雜室內(nèi)外場景的目標(biāo)檢測中。從COCO數(shù)據(jù)集和VOC2007測試集中挑選了100張室內(nèi)外復(fù)雜密集場景的圖片組成遷移數(shù)據(jù)集進(jìn)行遷移實(shí)驗(yàn)。MobileNetV2+SSD算法和改進(jìn)后的算法在遷移數(shù)據(jù)集上的mAP分別為70.3%和73.9%,改進(jìn)后的算法提升了3.6%。遷移實(shí)驗(yàn)對比結(jié)果如圖15所示。從結(jié)果可以發(fā)現(xiàn),本文模型相較于基線算法,在密集小目標(biāo)的檢測效果上表現(xiàn)了更為優(yōu)秀的檢測能力,這是由于所提出的兩階段的特征融合網(wǎng)絡(luò)更充分地聚合了深層和淺層特征信息。

圖15 遷移實(shí)驗(yàn)對比Fig.15 Migration experiment comparison

4 結(jié)論

本文針對目標(biāo)檢測模型因內(nèi)存受限而對小目標(biāo)檢測精度不佳的問題,在MobileNetV2-SSDLite算法的基礎(chǔ)上,設(shè)計(jì)了兩階段的特征融合方式:第一階段利用所設(shè)計(jì)的交叉融合模塊初步聚合淺層特征,同時(shí)在路徑中部署了基于殘差結(jié)構(gòu)的多支路擴(kuò)張感受野模塊以獲得更多小目標(biāo)相關(guān)的上下文信息;第二階段設(shè)計(jì)了基于PANet的跨層級融合模塊,進(jìn)一步整合深層和淺層特征。本文模型在公開的PASCAL VOC2007test上進(jìn)行驗(yàn)證,與基線算法相比準(zhǔn)確度提升了4.5%;在遷移實(shí)驗(yàn)中的小目標(biāo)數(shù)據(jù)集上進(jìn)行驗(yàn)證時(shí),準(zhǔn)確度提升了2.6%。證明了本文算法有效改善了基線算法在小目標(biāo)檢測上存在的誤檢,漏檢情況,同時(shí)本文方法解決了內(nèi)存受限的移動端上小目標(biāo)檢測效果不佳的問題。但是因?yàn)檩p量化骨干網(wǎng)絡(luò)的通道深度以及結(jié)構(gòu)問題,對圖像的特征提取能力仍然欠佳,后續(xù)的研究將會關(guān)注于設(shè)計(jì)更為優(yōu)秀且輕量化的骨干網(wǎng)絡(luò)。