結(jié)合多特征融合與殘差空洞卷積的小目標(biāo)檢測(cè)

尹群杰，楊文柱+，冉夢(mèng)影，宋姝潔

(1.河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院，河北 保定 071002；2.河北大學(xué) 機(jī)器視覺工程研究中心，河北 保定 071002)

0 引 言

目標(biāo)檢測(cè)是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域中最活躍的研究課題之一，其本質(zhì)是找出圖片中物體的位置信息并判斷出它的類別[1]。如今，隨著視頻監(jiān)控、人臉識(shí)別、交通運(yùn)輸?shù)确矫嬖谌粘Ｉ钪械膹V泛應(yīng)用，小目標(biāo)檢測(cè)已成為了目標(biāo)檢測(cè)中的難題之一，近年來，基于深度學(xué)習(xí)的方法在小目標(biāo)檢測(cè)等方面取得了明顯進(jìn)展[2-5]。

由于小目標(biāo)本身在圖像中所占像素相對(duì)較少，包含的特征也少，因而很難提取到足夠多的有效特征，容易出現(xiàn)漏檢問題，使得小目標(biāo)的檢測(cè)效果較差。早些年的目標(biāo)檢測(cè)器主要是基于手工設(shè)計(jì)的特征構(gòu)建的，人們直接利用特征化的圖像金字塔(如圖1(a)所示)來檢測(cè)各個(gè)比例的物體[6]。隨著卷積神經(jīng)網(wǎng)絡(luò)的深入發(fā)展，Liu等提出了SSD[7]，直接提取多個(gè)尺度的特征圖，利用較淺層特征來檢測(cè)較小的目標(biāo)，利用較深層特征來檢測(cè)較大的目標(biāo)。但淺層特征缺乏足夠的語義信息和上下文信息，直接利用其進(jìn)行小目標(biāo)檢測(cè)效果不佳?；诖耍壳俺Ｓ玫囊环N方法是將融合后的特征圖直接進(jìn)行預(yù)測(cè)(如圖1(b)所示)，如ION[8]、HyperNet[9]等。結(jié)合圖1(a)、圖1(b)的優(yōu)點(diǎn)，Lin等[10]構(gòu)建了特征金字塔網(wǎng)絡(luò)(FPN)，如圖1(c)所示，利用自上而下的橫向連接結(jié)構(gòu)，提升低層特征圖的語義信息，提高小目標(biāo)檢測(cè)的檢測(cè)效果。但是多次下采樣會(huì)丟失很多細(xì)節(jié)信息，于是Yu等[11]引入空洞卷積在不增加額外計(jì)算量的同時(shí)增強(qiáng)特征的語義信息。本文提出了一種結(jié)合多特征融合與殘差空洞卷積的小目標(biāo)檢測(cè)算法。與SSD等近期的經(jīng)典模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，所提算法具有更高的準(zhǔn)確率。

圖1 多尺度特征學(xué)習(xí)模型

1 相關(guān)工作

1.1 SSD算法

SSD是一種端到端的單階段目標(biāo)檢測(cè)算法，它不像兩階段目標(biāo)檢測(cè)算法那樣先生成區(qū)域建議，再進(jìn)行分類回歸，而是采用卷積神經(jīng)網(wǎng)絡(luò)直接分辨出物體的類別，并對(duì)邊界框進(jìn)行回歸。

原始的SSD使用VGG16作為骨干網(wǎng)絡(luò)，并結(jié)合YOLO的回歸思想和Faster RCNN中的Anchor boxes機(jī)制，提取多個(gè)尺度的特征圖以實(shí)現(xiàn)多尺度特征檢測(cè)，選取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2卷積層作為特征圖，并在這些特征圖上分布不同尺度和比例的默認(rèn)框，利用低層特征檢測(cè)小目標(biāo)，利用高層特征檢測(cè)大目標(biāo)。SSD在特征圖上的每個(gè)錨點(diǎn)生成固定的且包括類別概率和定位信息的預(yù)測(cè)結(jié)果，然后再經(jīng)過非極大值抑制(NMS)去除冗余的邊界框。SSD低層特征圖具有較高的分辨率，高分辨率特征會(huì)包含物體的位置信息，這對(duì)小目標(biāo)檢測(cè)有重大意義，但高層特征圖所包含的位置信息不足，導(dǎo)致小目標(biāo)檢測(cè)效果不好，存在漏檢問題。

基于此，本文結(jié)合SSD淺層特征圖分辨率高、目標(biāo)位置信息準(zhǔn)確的優(yōu)勢(shì)，首先通過對(duì)低層特征圖和高層特征圖融合，進(jìn)一步增強(qiáng)淺層特征圖的語義信息。然后引入多分支殘差空洞卷積模塊，增強(qiáng)特征的多尺度上下文信息，以提高小目標(biāo)檢測(cè)性能。

1.2 空洞卷積

最初提出空洞卷積是為了解決圖像分割問題，在深度神經(jīng)網(wǎng)絡(luò)中為了增加感受野進(jìn)行下采樣，這樣雖然能夠增大感受野，但降低了空間分辨率的同時(shí)，丟失了小目標(biāo)的部分細(xì)節(jié)信息，對(duì)小目標(biāo)檢測(cè)非常不利。后來Yu等發(fā)現(xiàn)空洞卷積可以在不增加參數(shù)的同時(shí)增大小目標(biāo)特征的感受野，增強(qiáng)小目標(biāo)特征。Li等[12]證實(shí)了增大感受野有利于開展目標(biāo)分類任務(wù)。Tian等[13]和Liu等[14]的研究表明空洞卷積能夠提升卷積層感受野大小，同時(shí)可以為網(wǎng)絡(luò)提供更強(qiáng)的特征語義信息。文獻(xiàn)[15,16]的研究表明通過空洞卷積可以提升對(duì)淺層特征的利用，實(shí)現(xiàn)多尺度的感受野，獲得更高的檢測(cè)精度，但這些框架對(duì)小目標(biāo)檢測(cè)仍然不盡人意?？斩淳矸e的基本原理是在傳統(tǒng)卷積核的每個(gè)像素點(diǎn)之間插入值為0的像素，以改變卷積核大小，然后再進(jìn)行正常卷積操作。其操作可以使模型學(xué)習(xí)到更多有效的語義信息，以解決外界因素對(duì)檢測(cè)小目標(biāo)的干擾，更好地識(shí)別小目標(biāo)。于是本文利用空洞卷積的優(yōu)勢(shì)，構(gòu)建多分支殘差空洞卷積，每個(gè)分支采用不同空洞率的空洞卷積，使得單個(gè)特征圖上具有多尺度特征信息，且在不增加額外參數(shù)計(jì)算的同時(shí)實(shí)現(xiàn)不同分支卷積的共享，提高小目標(biāo)的性能。

2 本文方法

2.1 方法整體框架

本文提出的結(jié)合多特征融合與殘差空洞卷積的小目標(biāo)檢測(cè)算法的整體結(jié)構(gòu)框架，如圖2所示。該方法延續(xù)SSD的骨干提取網(wǎng)絡(luò)VGG16，利用多個(gè)尺度特征圖進(jìn)行預(yù)測(cè)的優(yōu)點(diǎn)，引入多層特征融合模塊(multi-layer feature fusion module，MFFM)，首先將Conv7_2、Conv8_2與Conv4_3進(jìn)行通道拼接(圖中大寫C表示通道拼接)，將Conv8_2、Conv9_2與Conv7_2進(jìn)行通道拼接，將Conv9_2、Conv10_2與Conv8_2進(jìn)行通道拼接，以增強(qiáng)淺層特征的語義信息，進(jìn)而得到具有豐富的細(xì)節(jié)信息和語義信息的淺層特征圖。然后將融合后的特征圖引入多分支殘差空洞卷積模塊(multi-branch residual dilated convolution module，MRDM)，以增強(qiáng)特征的多尺度上下文信息，接著將多分支殘差空洞卷積模塊的輸出和Conv9_2、Conv10_2、Conv11_2進(jìn)行最終預(yù)測(cè)。由于更深層的特征圖經(jīng)過較多的下采樣會(huì)產(chǎn)生大量噪聲，不適用于小目標(biāo)檢測(cè)，因此這里只將前3個(gè)特征圖進(jìn)行特征增強(qiáng)。

圖2 結(jié)合多特征融合與殘差空洞卷積的小目標(biāo)檢測(cè)算法的整體網(wǎng)絡(luò)框架

2.2 多層特征融合模塊

SSD淺層特征的語義信息較弱，因而小目標(biāo)特征表達(dá)不充分，而以往的特征融合方式將所有的特征圖經(jīng)過上采樣與之前特征圖進(jìn)行融合的方式不僅會(huì)引入大量不利于小目標(biāo)檢測(cè)的噪聲還會(huì)影響算法的檢測(cè)速度。

為解決這些問題，本文提出了多層特征融合模塊，將第n+1個(gè)特征圖、第n+2個(gè)特征圖和第n個(gè)特征圖進(jìn)行通道拼接，有效地結(jié)合了相鄰特征層的語義信息，且減少了連續(xù)上采樣所帶來的不利噪聲。多層特征融合模塊的結(jié)構(gòu)如圖3所示，先對(duì)第n個(gè)特征圖進(jìn)行一個(gè)3×3的卷積，以保證當(dāng)前特征圖和后兩個(gè)特征圖具有相同的特征表示能力，同時(shí)將通道數(shù)減少為原來的四分之一，以減少模型的計(jì)算量，然后對(duì)第n+1個(gè)特征圖和第n+2個(gè)特征圖進(jìn)行一個(gè)1×1的卷積，降低通道數(shù)，以減少計(jì)算量，接著將卷積后的特征圖通過Relu層，對(duì)第n+1和n+2個(gè)特征圖經(jīng)過上采樣，由于反卷積所采用的時(shí)間復(fù)雜度較大，因此本文采用雙線性插值法將后兩個(gè)特征圖的尺寸變成和第n個(gè)特征圖尺寸大小相同，最后對(duì)操作后的3個(gè)特征圖進(jìn)行通道拼接，傳到下一個(gè)模塊。該融合操作用數(shù)學(xué)公式表示為

fn=Cn{Un(fn+1,fn),Un(fn+2,fn),fn}

(1)

式中：fn表示第n個(gè)特征圖； Cn(x1,x2,x3) 表示第x1個(gè)特征圖、第x2個(gè)特征圖和第x3個(gè)特征圖進(jìn)行通道拼接； Un(y1,y2) 表示特征圖y1經(jīng)過雙線性插值法的上采樣后和特征圖y2尺寸大小相同。

多層特征融合模塊的具體做法為：將Conv7_2、Conv8_2與Conv4_3融合，將Conv8_2、Conv9_2與Conv7_2融合，將Conv9_2、Conv10_2與Conv8_2融合。融合后特征圖的維度大小分別為38×38×512、19×19×448、10×10×256。

圖3 多層特征融合模塊結(jié)構(gòu)

2.3 多分支殘差空洞卷積模塊

由于SSD淺層特征未經(jīng)過下采樣，感受野大小受到了限制，無法捕獲到豐富的細(xì)節(jié)信息和上下文信息，不利于小目標(biāo)檢測(cè)。而空洞卷積可以在不增加參數(shù)的同時(shí)增大特征圖上每個(gè)點(diǎn)的感受野，捕獲更多的多尺度上下文信息。

本文結(jié)合空洞卷積的優(yōu)勢(shì)，借鑒ResNet[17]，設(shè)計(jì)了一個(gè)多分支殘差空洞卷積模塊，其結(jié)構(gòu)如圖4所示，首先每一個(gè)分支會(huì)先經(jīng)過一個(gè)1×1的卷積，將通道數(shù)從t變?yōu)閠/2(t為輸入通道數(shù))，其目的是減少模型的計(jì)算量。其次采用不同擴(kuò)張率對(duì)其進(jìn)行卷積操作，其中，空洞卷積的卷積核大小在本研究中都設(shè)置為3×3，每個(gè)分支的擴(kuò)張率從上到下設(shè)置為1、3、5，在不增加參數(shù)的情況下捕獲不同尺度特征的上下文信息。接著利用1×1的卷積調(diào)整通道數(shù)的大小，與輸入層進(jìn)行跳躍連接，使得多分支殘差空洞卷積模塊更優(yōu)化。然后將這3個(gè)經(jīng)操作后的特征進(jìn)行通道拼接，以整合不同尺度的上下文信息；最后再經(jīng)過一個(gè)1×1的卷積將通道數(shù)恢復(fù)至t，傳入最終的分類預(yù)測(cè)。

圖4 多分支殘差空洞卷積模塊結(jié)構(gòu)

經(jīng)過空洞卷積后的卷積核實(shí)際大小和感受野大小的計(jì)算公式如式(2)、式(3)所示

k′=k+(k-1)(r-1)

(2)

(3)

其中，k′是經(jīng)過空洞卷積后的卷積核實(shí)際大小；k為原始卷積核大小，在本研究中都將其設(shè)置為3×3；r為擴(kuò)張率，其中r=1，2，3，…，n；Rn為第n層的每個(gè)像素點(diǎn)的感受野，si為第i層的步長(zhǎng)，在本研究中步長(zhǎng)都設(shè)為1，其中i=1，2，…，n。

表1展示的是多分支殘差空洞卷積的結(jié)構(gòu)設(shè)計(jì)，即各層加空洞卷積后卷積核及感受野的大小。其中，Layer表示層數(shù)；Kernel表示卷積核大小，k表示經(jīng)過空洞卷積前卷積核大小，在本研究中將其設(shè)置為3×3，k′表示經(jīng)過空洞卷積后卷積核的實(shí)際大小，第n層空洞卷積的卷積核實(shí)際大小為(4n-1)×(4n-1)； Stride表示步長(zhǎng)，本文都設(shè)置為1；Dilated rate表示擴(kuò)張率；Padding表示特征像素點(diǎn)邊框的填充個(gè)數(shù)，本文Padding設(shè)置為和擴(kuò)張率相同大?。籖F表示感受野大小，第n層經(jīng)過空洞卷積后特征圖上每個(gè)像素點(diǎn)的感受野變?yōu)?2n2+1)2。 隨著n的不斷增長(zhǎng)，在不引入額外參數(shù)的同時(shí)，空洞卷積的卷積核大小在逐漸變大，感受野也在不斷擴(kuò)展。

表1 多分支殘差空洞卷積的結(jié)構(gòu)設(shè)計(jì)

在本文中，每一個(gè)分支采用不同擴(kuò)張率，即1，3，5，可以循序漸進(jìn)地捕獲圖像不同區(qū)域內(nèi)的信息，得到多尺度特征信息，避免同一個(gè)擴(kuò)張率造成的信息冗余或丟失，該模塊可以實(shí)現(xiàn)不同分支卷積的共享，從而降低模型的復(fù)雜度。

3 實(shí)驗(yàn)結(jié)果與討論

本文算法采用深度學(xué)習(xí)框架PyTorch-1.3.0，編程語言為Python_3.7，在Windows10操作系統(tǒng)下實(shí)現(xiàn)，GPU型號(hào)為NVIDIA GTX 1080，CUDA版本為10.1。先在ImageNet數(shù)據(jù)庫上對(duì)骨干網(wǎng)絡(luò)VGG16進(jìn)行預(yù)訓(xùn)練，然后在PASCAL VOC2007和PASCAL VOC2012的訓(xùn)練集和驗(yàn)證集上進(jìn)行訓(xùn)練，最后在VOC2007數(shù)據(jù)集上進(jìn)行測(cè)試，本研究采用平均精度(mAP)指標(biāo)進(jìn)行評(píng)估。為了能夠更好地展示出本文算法的性能，將本網(wǎng)絡(luò)模型與當(dāng)前流行的網(wǎng)絡(luò)模型進(jìn)行比較，同時(shí)將各個(gè)模塊的組合進(jìn)行比較，以展示出本網(wǎng)絡(luò)模型更好的檢測(cè)性能。

3.1 數(shù)據(jù)集介紹

本網(wǎng)絡(luò)模型在PASCAL VOC數(shù)據(jù)集[18]上進(jìn)行評(píng)估。該數(shù)據(jù)集共有兩個(gè)版本，PASCAL VOC2007和PASCAL VOC2012，VOC2007包含2501個(gè)訓(xùn)練圖像、2510個(gè)驗(yàn)證圖像和5011個(gè)測(cè)試圖像；VOC2012包含5717個(gè)訓(xùn)練圖像，5823個(gè)驗(yàn)證圖像和10 991個(gè)測(cè)試圖像。數(shù)據(jù)集總共分4個(gè)大類、20個(gè)小類(加上背景共21類)，具體類別如圖5所示，預(yù)測(cè)時(shí)輸出20個(gè)類別，分別為飛機(jī)、自行車、鳥、狗、公共汽車、火車、汽車、奶牛、盆栽、船、人、羊、椅子、馬、沙發(fā)、餐桌、摩托車、瓶子、電視監(jiān)視器、貓。PASCAL VOC數(shù)據(jù)集可以在http://host.robots.ox.ac.uk/pascal/VOC/公開獲取，輸入圖像都固定為300×300像素大小。本文選取PASCAL VOC2007和VOC2012數(shù)據(jù)集中16 551張訓(xùn)練圖像和驗(yàn)證圖像作為訓(xùn)練集，并在VOC2007數(shù)據(jù)集的4952張測(cè)試圖像上驗(yàn)證模型性能。

圖5 PASCAL VOC數(shù)據(jù)集的類別樣本

3.2 評(píng)價(jià)指標(biāo)

本文使用兩個(gè)評(píng)價(jià)指標(biāo)來評(píng)估模型性能，分別為mAP、FPS。mAP是計(jì)算小目標(biāo)檢測(cè)算法檢測(cè)精度的指標(biāo)，mAP即對(duì)測(cè)試集進(jìn)行評(píng)估，是測(cè)試集中的真實(shí)框和預(yù)測(cè)框是否被檢測(cè)出來的指標(biāo)。

mAP值是多個(gè)類別平均精確度(AP)的均值，AP是指利用精確率和召回率組成的PR曲線下面的面積，用公式表示為

(4)

式中： p(r) 為利用精確率為縱軸和召回率為橫軸的點(diǎn)所畫的PR曲線。

精確率和召回率的計(jì)算公式如式(5)、式(6)所示

(5)

(6)

其中，Pr表示正確識(shí)別出物體類別的邊界框數(shù)量與識(shí)別到物體類別的邊界框總數(shù)量的比值；Re為正確識(shí)別出物體類別的邊界框數(shù)量與Ground Truth中邊界框總數(shù)量的比值；PTP表示真實(shí)框和預(yù)測(cè)框IoU值大于設(shè)定閾值(本文設(shè)定為0.5)的邊界框數(shù)量；PFP表示真實(shí)框和預(yù)測(cè)框的IoU值小于設(shè)定閾值的邊界框數(shù)量；PFN表示未被檢測(cè)到的Ground Truth的數(shù)量。

FPS(frames per second)是小目標(biāo)檢測(cè)算法中檢測(cè)速度的指標(biāo)，指網(wǎng)絡(luò)模型每秒處理多少張圖片。例如，某小目標(biāo)檢測(cè)算法平均處理一張圖片所需的時(shí)間為0.02 s，則檢測(cè)速度為1/0.02=50 FPS。

3.3 VOC2007上的實(shí)驗(yàn)結(jié)果

本文將PASCAL VOC2007和PASCAL VOC2012的訓(xùn)練集作為訓(xùn)練樣本，且在PASCAL VOC2007測(cè)試集上進(jìn)行測(cè)試。在本實(shí)驗(yàn)中，本文算法所采用的損失函數(shù)和數(shù)據(jù)增強(qiáng)策略與SSD算法相同，在訓(xùn)練過程中預(yù)測(cè)框的IoU設(shè)置為0.5，總迭代次數(shù)為200K次，采用10-3的初始學(xué)習(xí)率進(jìn)行120K次迭代，隨后在120K～160K次迭代使用10-4的學(xué)習(xí)率，對(duì)剩下的40K次迭代降低學(xué)習(xí)率到10-5，權(quán)重衰減和動(dòng)量分別為0.0005、0.9，批次大小設(shè)置為16，輸入圖片大小為300×300。

表2展示的是本文所改進(jìn)的方法和目前具有較好性能的目標(biāo)檢測(cè)算法的檢測(cè)精度和檢測(cè)速度，可以看出本文方法的檢測(cè)精度已達(dá)到了78.6%mAP，每秒可以檢測(cè)57.2幀圖像。表中前3個(gè)為兩階段目標(biāo)檢測(cè)算法，剩下的為單階段目標(biāo)檢測(cè)算法。從表中可以看出，本文方法的檢測(cè)精度比使用VGG16骨干網(wǎng)絡(luò)的Fast R-CNN高了8.6%mAP，檢測(cè)速度快了51.2 FPS；比使用VGG16骨干網(wǎng)絡(luò)的Faster R-CNN高5.4%mAP，檢測(cè)速度快了50.2 FPS；比使用ResNet-50骨干網(wǎng)絡(luò)的R-FCN高1.2%mAP，檢測(cè)速度快了48.2 FPPS。所提算法的檢測(cè)速度均遠(yuǎn)遠(yuǎn)高于兩階段目標(biāo)檢測(cè)算法。本文方法的檢測(cè)精度比使用Darknet-19骨干網(wǎng)絡(luò)的YOLOv2高5.2%mAP，比使用VGG16骨干網(wǎng)絡(luò)的SSD300高1.4%mAP，比使用DS/64-192-48-1骨干網(wǎng)絡(luò)的DSOD高0.9%mAP，但是檢測(cè)速度高了39.8 FPS，和使用ResNet-101骨干網(wǎng)絡(luò)的DSSD算法的檢測(cè)精度雖然相同，但是檢測(cè)速度高出了47.7 FPS。和使用相同骨干網(wǎng)絡(luò)的DSSD相比，檢測(cè)精度高了0.3%mAP，檢測(cè)速度高出了53 FPS?？梢姳疚姆椒ㄒ獌?yōu)于當(dāng)前目標(biāo)檢測(cè)性能較好的算法模型。

表2 不同小目標(biāo)檢測(cè)算法性能的對(duì)比

為了能夠直觀地顯示出所提算法的優(yōu)越性，對(duì)本文算法及當(dāng)前性能優(yōu)異的小目標(biāo)檢測(cè)算法畫出散點(diǎn)，如圖6所示，橫坐標(biāo)表示為各個(gè)算法的檢測(cè)速度，縱坐標(biāo)表示為各個(gè)算法的檢測(cè)精確度，性能越好的小目標(biāo)檢測(cè)算法越靠近右上角。由此可見，本文算法要比其它的目標(biāo)檢測(cè)算法的檢測(cè)性能好。

圖6 不同檢測(cè)算法的檢測(cè)速度和檢測(cè)精度的散點(diǎn)圖對(duì)比

為了更清楚地看出SSD、DSSD和本文方法在PASCAL VOC2007數(shù)據(jù)集上對(duì)各個(gè)類別精確度的差距，本文設(shè)計(jì)了一個(gè)柱狀圖，如圖7所示，橫軸表示數(shù)據(jù)集的類別，縱軸表示相應(yīng)類別的精確度，圖上所顯示的精確度為本方法各個(gè)類別的精確度。從圖中可知，本文方法與SSD相比，有15個(gè)類別遠(yuǎn)遠(yuǎn)超過了SSD，如飛機(jī)、奶牛等，提高了5個(gè)百分點(diǎn)以上，有3個(gè)類別的精確度和SSD相近，如自行車、公共汽車、盆栽，只有2個(gè)類別低于SSD，如綿羊和電視監(jiān)視器。相對(duì)于具有相同骨干網(wǎng)絡(luò)的DSSD，本文方法有12個(gè)類別的精確度大于DSSD，如飛機(jī)、鳥、船等。本文方法是在淺層特征圖上進(jìn)行改進(jìn)，使其同時(shí)包含高分辨率圖像和強(qiáng)語義信息，對(duì)小目標(biāo)例如飛機(jī)、鳥、瓶子的檢測(cè)均有大幅度提升。因此，本算法檢測(cè)小目標(biāo)的性能要比SSD算法和DSSD算法好。

3.4 模型簡(jiǎn)化實(shí)驗(yàn)

為了驗(yàn)證本文所設(shè)計(jì)的多層特征融合模塊和多分支殘差空洞卷積模塊在SSD算法上的有效性，在PASCAL VOC數(shù)據(jù)集上進(jìn)行模型簡(jiǎn)化實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表3。傳統(tǒng)SSD算法的淺層特征缺乏足夠的語義信息和上下文信息，檢測(cè)精度可以達(dá)到77.2%mAP；在僅添加多層特征融合模塊時(shí)，淺層特征得到了豐富的語義信息，檢測(cè)精度提升了1個(gè)百分點(diǎn)；在僅添加多分支殘差空洞卷積模塊時(shí)，淺層特征增強(qiáng)了上下文信息，檢測(cè)精度提升了0.4個(gè)百分點(diǎn)；當(dāng)將兩個(gè)模塊同時(shí)添加時(shí)，增強(qiáng)了淺層特征的語義信息和上下文信息，檢測(cè)精度達(dá)到78.6%mAP。檢測(cè)精度的提升證實(shí)了本算法中多層特征融合模塊和多分支殘差空洞卷積模塊的有效性。

表3 在VOC2007測(cè)試集上的模型簡(jiǎn)化實(shí)驗(yàn)結(jié)果

3.5 實(shí)驗(yàn)結(jié)果的可視化

為了更直觀地看出本文方法的優(yōu)勢(shì)和細(xì)節(jié)，選取VOC2007測(cè)試集上8張包含不同類別的小目標(biāo)圖片，對(duì)分類分?jǐn)?shù)高于0.5的類別進(jìn)行可視化，如圖8所示。圖片中(a)、(c)列為SSD的可視化結(jié)果，(b)、(d)列為本文方法的可視化結(jié)果。將分類分?jǐn)?shù)高于0.5的目標(biāo)用邊界框框住，同時(shí)在圖片上方寫出邊界框所框物體的類別和得分情況。第一行圖像給出了對(duì)動(dòng)物的檢測(cè)結(jié)果；第二行給出了對(duì)人和騎行工具的檢測(cè)結(jié)果；第三行給出了對(duì)小船的檢測(cè)結(jié)果；第四行給出了對(duì)物品的檢測(cè)結(jié)果。從圖8可以看出，第一行本文方法比SSD多檢測(cè)出5個(gè)鳥和2個(gè)羊，且得分比原始的高；第二行本文方法比SSD多檢測(cè)出3個(gè)人和2個(gè)自行車，且得分情況比SSD好；第三行本文方法比SSD多檢測(cè)出4個(gè)船，且分類分?jǐn)?shù)明顯優(yōu)于原始SSD；第四行本文方法比SSD多檢測(cè)出3個(gè)盆栽和3個(gè)瓶子，且得分情況比SSD好。從圖中可以看出傳統(tǒng)的SSD算法在小船、羊等中小尺寸目標(biāo)上檢測(cè)效果較差，大部分目標(biāo)還未檢測(cè)出來，而改進(jìn)后的方法對(duì)于在圖像中所占比例較小的目標(biāo)和被遮擋的物體都有所改善，而且物體得分情況明顯要優(yōu)于原始的SSD算法。這是因?yàn)楸疚姆椒ㄌ嵘藴\層特征的表示能力，得到了特征的強(qiáng)語義信息和多尺度上下文信息，將原本只包含高分辨率圖像的淺層特征圖融入了細(xì)節(jié)信息，在一定程度上降低了小目標(biāo)的漏檢率，提高小目標(biāo)檢測(cè)的魯棒性。

圖8 SSD和本文方法在PASCAL VOC2007測(cè)試集上的檢測(cè)結(jié)果

4 結(jié)束語

本文提出了一種結(jié)合多特征融合與殘差空洞卷積的小目標(biāo)檢測(cè)算法，設(shè)計(jì)了一個(gè)多層特征融合模塊，將相鄰的淺層特征進(jìn)行融合，以增強(qiáng)特征圖的語義信息，設(shè)計(jì)了一個(gè)多分支殘差空洞卷積模塊，通過建立多個(gè)不同擴(kuò)張率的空洞卷積分支，在不丟失原始分辨率的同時(shí)增大特征圖的感受野和上下文信息。實(shí)驗(yàn)結(jié)果表明，所提出的網(wǎng)絡(luò)模型在保持實(shí)時(shí)速度的同時(shí)，精度亦優(yōu)于當(dāng)前目標(biāo)檢測(cè)性能較好的算法模型，可用于實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)。但是該算法的檢測(cè)精度和檢測(cè)速度仍可以有所提升，在以后的工作中將對(duì)骨干網(wǎng)絡(luò)VGG16進(jìn)行修改，把DenseNet[23]引入上下文信息增強(qiáng)模塊，同時(shí)收集包含更多小目標(biāo)的數(shù)據(jù)集，以便進(jìn)行訓(xùn)練和預(yù)測(cè)，進(jìn)一步提高算法的檢測(cè)效果。