融入特征融合與特征增強(qiáng)的SSD目標(biāo)檢測(cè)

劉建政，梁 鴻，崔學(xué)榮，鐘 敏，李傳秀

中國(guó)石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 青島 266580

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向。特別是近幾年來(lái)隨著深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的應(yīng)用，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法在精度與速度上都得到了顯著發(fā)展。目前主流目標(biāo)檢測(cè)算法主要分為兩類，一類是基于回歸的一階段目標(biāo)識(shí)別算法，如SSD[1]、DSSD[2]、DSOD[3]、RSSD[4]、FSSD[5]、YOLO[6]等模型，另一類是基于候選區(qū)域的兩階段目標(biāo)識(shí)別算法，如R-CNN[7]、SPPnet[8]、Mask-RCNN[9]、Fast R-CNN[10]、Faster R-CNN[11]、R-FCN[12]、ZBD13]

等模型。通常兩階段目標(biāo)檢測(cè)算法具有更高的精度，一階段目標(biāo)檢測(cè)算法具有實(shí)時(shí)處理的能力，但是會(huì)犧牲精度。無(wú)論是一階段目標(biāo)檢測(cè)算法還是兩階段目標(biāo)檢測(cè)算法，CNN都發(fā)揮著至關(guān)重要的作用。

一階段目標(biāo)檢測(cè)器由于其速度與精度的平衡性，得到了廣泛關(guān)注。在這些目標(biāo)檢測(cè)算法中，SSD在精度和速度上都是相對(duì)比較優(yōu)秀的一階段目標(biāo)檢測(cè)算法，目前多數(shù)新提出的單級(jí)目標(biāo)探測(cè)器都以它為基線。SSD先通過基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征提取，然后通過輔助結(jié)構(gòu)中的特征層來(lái)提取具有更多語(yǔ)義信息的高層特征映射。它使用了多個(gè)卷積層來(lái)進(jìn)行目標(biāo)檢測(cè)，這大大提高了檢測(cè)精度。當(dāng)然，SSD也有它的缺點(diǎn)，一是Conv4_3是一個(gè)淺層，語(yǔ)義信息少，缺乏足夠的信息來(lái)判斷較小的對(duì)象；二是SSD只增加了幾個(gè)輔助卷積層，沒有充分利用提取到的特征映射，不夠具有代表性。

為了提高SSD檢測(cè)算法對(duì)小目標(biāo)的檢測(cè)精度，文獻(xiàn)[2]在SSD模型上充分利用深淺層特征信息，結(jié)合殘差網(wǎng)絡(luò)，提出了DSSD模型，但是該方法在特高檢測(cè)精度的同時(shí)極大地降低了檢測(cè)速度。文獻(xiàn)[14]提出了SNIP算法，該算法主要思想是借鑒多尺度訓(xùn)練（multiscale training，MST）的思想，并且只對(duì)尺寸在指定范圍內(nèi)的目標(biāo)回傳損失，對(duì)小目標(biāo)檢測(cè)效果顯著。文獻(xiàn)[15]提出的Feature-Fused SSD算法借鑒了特征金字塔[16]（FPN）的思想，利用融合高層的語(yǔ)義信息去感知低層的語(yǔ)義信息。RFBNet[17]將RFB（receptive field block）模塊與SSD網(wǎng)絡(luò)結(jié)合，有效增大了感受野（receptive field），提高檢測(cè)精度。

本文通過在SSD基礎(chǔ)上引入設(shè)計(jì)的特征融合模塊和特征增強(qiáng)模塊來(lái)提高SSD對(duì)于小目標(biāo)的檢測(cè)精度。一般來(lái)說，較深層次的高層次特征對(duì)分類子任務(wù)的判別能力更強(qiáng)，而較淺層次的低層次特征對(duì)目標(biāo)定位回歸子任務(wù)的判別能力更強(qiáng)。此外，低層特征更適合于表現(xiàn)簡(jiǎn)單的對(duì)象，而高層特征更適合表現(xiàn)復(fù)雜的對(duì)象。

本文設(shè)計(jì)了一對(duì)特征融合模塊（feature integration block，F(xiàn)IB）將骨干網(wǎng)提取的特征分別進(jìn)行融合，然后再通過特征增強(qiáng)模塊（feature enhancement block，F(xiàn)EB），充分利用深層特征層語(yǔ)義信息以提升淺層特征網(wǎng)絡(luò)對(duì)小目標(biāo)的表征能力。此外，本文還將SSD輔助結(jié)構(gòu)中簡(jiǎn)單的卷積層使用本文設(shè)計(jì)的特征增強(qiáng)模塊進(jìn)行替換，最后增加淺層特征映射默認(rèn)先驗(yàn)框數(shù)量。結(jié)果表明本文設(shè)計(jì)的網(wǎng)絡(luò)模型（FIENet）對(duì)小目標(biāo)具有更強(qiáng)的檢測(cè)能力，如bird、bottle、chair、plant類檢測(cè)精度有較大的提高，整體目標(biāo)的平均檢測(cè)精度（mAP）相較于其他檢測(cè)算法也有很大提升。

1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

1.1 SSD

SSD是一種經(jīng)典的一階段目標(biāo)檢測(cè)算法，其結(jié)構(gòu)如圖1所示，基本的SSD模型是以VGG16[18]網(wǎng)絡(luò)作為基礎(chǔ)模型，在此基礎(chǔ)上添加了輔助結(jié)構(gòu)，即多個(gè)卷積層和池化層。為了充分利用特征映射信息來(lái)提高檢測(cè)精度，加入RPN網(wǎng)絡(luò)的特征金字塔的檢測(cè)方式以通過選取不同的卷積層的特征圖來(lái)增強(qiáng)檢測(cè)效果，如圖2中的8×8特征映射（b）和4×4特征映射（c），這樣的好處是比較大的特征映射用來(lái)檢測(cè)較小的目標(biāo)，比較小的特征映射用來(lái)檢測(cè)較大目標(biāo)。在訓(xùn)練過程中，SSD只需要一個(gè)輸入圖像和圖像中每個(gè)檢測(cè)物體的真實(shí)標(biāo)記框。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 SSD model structure

圖2 匹配過程Fig.2 Matching process

SSD采用FasterR-CN中的Anchor boxes機(jī)制，在特征圖的各個(gè)單元設(shè)置不同長(zhǎng)寬比的默認(rèn)先驗(yàn)框，使用先驗(yàn)框和目標(biāo)檢測(cè)框進(jìn)行偏差計(jì)算，提高檢測(cè)精度，在圖2中可以看到每個(gè)單元使用了4個(gè)不同尺寸的先驗(yàn)框，輸入圖片中的貓和狗其長(zhǎng)寬比不同，網(wǎng)絡(luò)會(huì)分別采用最適合它們形狀的先驗(yàn)框來(lái)進(jìn)行訓(xùn)練，（c）中的loc表示邊界框的定位信息，包含(cx,cy,w,h)4個(gè)值，分別表示邊界框的中心坐標(biāo)以及寬高，conf表示每個(gè)類別的置信度，如PASCALVOC數(shù)據(jù)集中有20類，則會(huì)有對(duì)應(yīng)的21（p=21）個(gè)c值，包含了背景類；SSD繼續(xù)沿用了YOLO9000[19]的回歸思想，提升了目標(biāo)檢測(cè)的速度。

骨干網(wǎng)絡(luò)VGG16用于特征提取，其結(jié)構(gòu)中各層參數(shù)如表1所示。卷積過程如圖3所示，圖3中的數(shù)字如300×300×64，其中的300×300表示為當(dāng)前特征圖大小，64表示上層通道數(shù)（濾波器個(gè)數(shù)）。特征圖卷積過程如圖4所示。

表1 VGG16結(jié)構(gòu)各層參數(shù)Table 1 Parameters of each layer of VGG16 structure

圖3 卷積層仿真演示Fig.3 Convolution layer simulation demonstration

圖4 圖卷積過程演示Fig.4 Demonstration of graph convolution process

1.2 基于SSD的改進(jìn)算法

本文提出的FIENet是基于SSD網(wǎng)絡(luò)模型的改進(jìn)，其整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。SSD中的骨干網(wǎng)絡(luò)VGG-16沒有批量歸一化層，本文在骨干網(wǎng)上增加了批量歸一化層，使得梯度更新更加穩(wěn)定。卷積神經(jīng)網(wǎng)絡(luò)中的淺層網(wǎng)絡(luò)特征映射尺寸大、感受野小、細(xì)節(jié)特征信息豐富，對(duì)目標(biāo)定位回歸子任務(wù)的判別能力更強(qiáng)，適合于小目標(biāo)等表現(xiàn)簡(jiǎn)單的對(duì)象。深層網(wǎng)絡(luò)特征映射尺寸小、感受野大、語(yǔ)義特征信息豐富，對(duì)分類子任務(wù)的判別能力更強(qiáng)。因此對(duì)深淺層特征層進(jìn)行融合可以提高淺層增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)能力。原始的SSD僅關(guān)聯(lián)了Conv4_3、Conv10_2和Conv11_2特征層的4個(gè)默認(rèn)先驗(yàn)框，以及Conv4_3、Conv11_2特征層的6個(gè)默認(rèn)先驗(yàn)框，由于淺層的特征映射對(duì)于小目標(biāo)檢測(cè)至關(guān)重要，因此在Conv4_3這樣的淺層特征映射中添加更多的默認(rèn)先驗(yàn)框，可以提高小目標(biāo)檢測(cè)性能。針對(duì)SSD網(wǎng)絡(luò)模型特點(diǎn)，本文首先提出了一對(duì)特征融合模塊，該模塊將深淺層特征信息進(jìn)行充分融合來(lái)提高網(wǎng)絡(luò)模型對(duì)小目標(biāo)的檢測(cè)能力；然后提出了特征增強(qiáng)模塊，其中FI代表特征融合模塊，F(xiàn)E代表特征增強(qiáng)模塊對(duì)融合的特征以及深層特征進(jìn)行增強(qiáng)，也相對(duì)加深了網(wǎng)絡(luò)的深度和寬度，最后在淺層Conv4_3上設(shè)置了6個(gè)默認(rèn)先驗(yàn)框。

圖5 FIENet網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 FIENet structure

FIENet模型中的6個(gè)檢測(cè)特征層參數(shù)如表2所示。

表2 FIENet檢測(cè)層參數(shù)Table 2 Parameters of FIENet detection layer parameters

2 SSD算法改進(jìn)

2.1 特征融合

在原始的SSD中，較淺的層，如Conv4_3，具有豐富的細(xì)節(jié)信息，但是沒有充分的語(yǔ)義信息，為了充分利用高層特征層中具有平移不變性的特征語(yǔ)義信息，本文設(shè)計(jì)了特征融合模塊（feature integration block，F(xiàn)IB），如圖6所示，使用一對(duì)特征融合模塊對(duì)Conv4_3和Fc7兩個(gè)特征層進(jìn)行連接，建立兩個(gè)特征層之間的聯(lián)系，整個(gè)特征融合模塊使用了Conv4_3和Fc7的特征映射來(lái)豐富和補(bǔ)充彼此，在增加了不同層之間特征映射關(guān)系的同時(shí)，也保留了相對(duì)完整的語(yǔ)義信息，提高網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)準(zhǔn)確率，增強(qiáng)淺層網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)能力。通過核大小為11的卷積層，即使用padding=0的11卷積核在這些特征圖上做卷積操作，調(diào)整通道大小。

圖6（a）中，對(duì)于兩個(gè)具有不同通道數(shù)的輸入：X1∈RC×H×W、X2∈RC×H×W，分別使用11和33的卷積進(jìn)行通道變換，分別產(chǎn)生Y v1∈RC×H×W、Y v2∈RC×H×W：

圖6 特征融合模塊Fig.6 Feature integration block（FIB）

其中，CBR(X)表示對(duì)輸入進(jìn)行一個(gè)Conv+BN+ReLU操作，然后對(duì)Yv11進(jìn)行下采樣操作產(chǎn)生U1∈RC×H×W：

FIv1（圖6（a））接收兩個(gè)尺寸不同的特征映射，對(duì)于Fc7的特征映射通過上采樣操作使得其特征圖與Conv4_3尺寸相同，然后進(jìn)行連接操作。FIv2（圖6（b））中，Conv4_3特征層通過池化得到與Conv7相同的特征映射尺寸，然后進(jìn)行連接操作。這提高了小目標(biāo)檢測(cè)精度，也在一定程度解決了重復(fù)框問題。然后將融合結(jié)果通過后續(xù)的特征增強(qiáng)模塊。

使用梯度加權(quán)類激活映射方法對(duì)Conv4_3、FC7以及特征融合后的特征映射進(jìn)行展示，如圖7所示。其中（b）、（c）、（d）、（e）中的左圖為灰度圖，中圖為熱力圖，右圖為熱力圖與原圖融合結(jié)果展示。從圖中可以看出，（b）中的細(xì)節(jié)信息豐富，（c）中語(yǔ)義信息豐富，將兩個(gè)特征層進(jìn)行融合后得到的特征映射的熱力圖為（d）、（e）。（d）的細(xì)節(jié)信息少于（b），語(yǔ)義信息多于（b）；（d）的語(yǔ)義信息少于（c），細(xì)節(jié)信息多于（c）；（e）與（d）相類似。

圖7 特征融合過程仿真演示Fig.7 Simulation demonstrationof feature integration process

2.2 特征增強(qiáng)

對(duì)于輔助結(jié)構(gòu)，SSD只增加了一些額外的卷積層，本文認(rèn)為這些卷積層不夠具有代表性，先前的研究工作[20-21]已經(jīng)證明加深網(wǎng)絡(luò)的深度以及加寬網(wǎng)絡(luò)的寬度在一定程度上可以提高網(wǎng)絡(luò)的性能，但是這在一定程度上會(huì)使得網(wǎng)絡(luò)的訓(xùn)練變得越來(lái)越困難，主要原因是因?yàn)闀?huì)出現(xiàn)梯度消失或梯度爆炸的問題。受殘差網(wǎng)絡(luò)（Res2Net[22]）和注意力機(jī)制（attention）的啟發(fā)，在融入注意力機(jī)制[23]的殘差模塊（res2 Block）基礎(chǔ)上設(shè)計(jì)了特征增強(qiáng)模塊（feature enhancement block，F(xiàn)EB），如圖8所示。

圖8 特征增強(qiáng)模塊Fig.8 Feature enhancement block（FEB）

Res2 block通過增加塊內(nèi)的感受野，而不是一層一層地捕獲圖像中更細(xì)粒度的不同級(jí)別的尺度，從而提高CNN檢測(cè)和管理圖像中物體的能力。文獻(xiàn)[24]證明較大的感受野可以學(xué)習(xí)很多的上下文信息，文獻(xiàn)[25]提出SENet，如圖9所示，通過學(xué)習(xí)的方式自動(dòng)獲取到每個(gè)特征通道的重要程度，根據(jù)loss去學(xué)習(xí)特征權(quán)重，使得有效的特征映射權(quán)重大，無(wú)效或者效果小的特征映射權(quán)重小，從而達(dá)到更好的訓(xùn)練效果。

在圖9中，其Ftr是一個(gè)傳統(tǒng)的卷積變換，X代表輸入，W、H為特征映射的長(zhǎng)和寬，C為通道數(shù)。U表示為一個(gè)C×H×W的特征映射。

圖9 SEBlock結(jié)構(gòu)圖Fig.9 Structure of SEBlock

其中，u c表示U中的第c個(gè)二維矩陣，v c表示第c個(gè)卷積核，X s表示第s個(gè)輸入。

經(jīng)過擠壓操作Fsq()·后，變成了一個(gè)1×1×C(s)的特征向量，特征向量的值由U確定。

本文提出的特征增強(qiáng)模塊對(duì)殘差模塊（res2 block）進(jìn)行了修改，使用Mish[26]激活函數(shù)而不是ReLU[27]函數(shù)進(jìn)行激活。常用的激活函數(shù)曲線如圖10所示。激活函數(shù)的主要作用是引入非線性因素，提供網(wǎng)絡(luò)的非線性建模能力，使得神經(jīng)網(wǎng)絡(luò)具備分層的非線性特征映射學(xué)習(xí)能力。從圖10中可以看到，對(duì)于x∈R，ReLU函數(shù)為：

圖10 四種常用激活函數(shù)圖像Fig.10 Shapes of four activate functions

當(dāng)x＜0時(shí)，ReLU硬飽和，當(dāng)x＞0時(shí)，不存在飽和問題，可以保持梯度不衰減，以緩解梯度消失問題。但是在訓(xùn)練過程中，部分x會(huì)落入硬飽和區(qū)域，導(dǎo)致無(wú)法更新其對(duì)應(yīng)權(quán)重，影響網(wǎng)絡(luò)的收斂性。Mish激活函數(shù)對(duì)于x＜0的輸入可以獲得輕微值，而不是ReLU函數(shù)中的硬飽和，可以得到更好的梯度流，并且平滑的激活函數(shù)允許更好的信息深入神經(jīng)網(wǎng)絡(luò)，從而得到更好的準(zhǔn)確性和泛化。對(duì)于x∈R：

在特征增強(qiáng)模塊中，輸入特征圖的通道數(shù)通過11的卷積分成4份，最后級(jí)聯(lián)起來(lái)。通道間采用殘差連接，每個(gè)通道的卷積深度不同，感受野不同，語(yǔ)義信息不同，輸入特征信息經(jīng)過不同的通道后級(jí)聯(lián)起來(lái)可以綜合各個(gè)深度的語(yǔ)義信息和細(xì)節(jié)信息，進(jìn)一步增強(qiáng)細(xì)節(jié)語(yǔ)義信息，將有利于檢測(cè)不同尺度的目標(biāo)，提高了對(duì)小目標(biāo)的檢測(cè)精度。然后通過注意力機(jī)制，把每個(gè)通道內(nèi)的特征值相加然后再平均，其后的兩個(gè)全連接層組成一個(gè)瓶頸結(jié)構(gòu)來(lái)構(gòu)建通道間的相關(guān)性，使得特征具有更多的非線性，在減少參數(shù)量和計(jì)算量的同時(shí)可以更好地?cái)M合通道間復(fù)雜的相關(guān)性，通過一個(gè)Sigmoid函數(shù)獲得0～1之間的一維權(quán)重，最后通過縮放（scale）操作使不同通道乘上各自的權(quán)重，增加對(duì)關(guān)鍵通道的注意力。特征增強(qiáng)模塊深化了整個(gè)網(wǎng)絡(luò)，這在一定程度上提高了網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確率；而且結(jié)構(gòu)間采用殘差連接，也就是“skip connection”，來(lái)自深層的梯度能直接暢通無(wú)阻地通過，去到上一層，使得淺層的網(wǎng)絡(luò)層參數(shù)等到有效的訓(xùn)練，解決了梯度消失以及梯度爆炸的問題，優(yōu)化了網(wǎng)絡(luò)性能。

結(jié)合2.1節(jié)中的特征融合模塊，改進(jìn)后的模型（FIENet）較SSD模型的特征層細(xì)節(jié)信息與語(yǔ)義信息結(jié)合后更豐富，小目標(biāo)檢測(cè)準(zhǔn)確率有較大幅度提升，對(duì)小目標(biāo)bird、bottle、chair、plant檢測(cè)精度分別提升了3.6%、9.5%、5.4%、5.5%。驗(yàn)證深淺層特征層融合能夠提高小目標(biāo)檢測(cè)能力，特征增強(qiáng)模塊對(duì)深層特征進(jìn)行了加強(qiáng)，使得整體檢測(cè)精度（mAP）也有了很大提升，由于Conv10_2，Conv11_2特征層的特征映射尺寸過小，且包含語(yǔ)義信息較強(qiáng)，因此不再需要通過特征增強(qiáng)模塊，而是直接用于檢測(cè)。

使用梯度加權(quán)類激活映射方法對(duì)特征增強(qiáng)前后的特征映射進(jìn)行對(duì)比，仿真結(jié)果演示如圖11所示。圖（a）為特征增強(qiáng)前特征映射演示，（b）為特征增強(qiáng)后特征映射演示。（a）、（b）中的左圖為灰度圖，中圖為熱力圖，右圖為熱力圖與原圖融合結(jié)果展示。從仿真結(jié)果可以得出特征增強(qiáng)后的特征映射中重要的特征信息更加明顯，有助于提高目標(biāo)檢測(cè)精度。

圖11 特征增強(qiáng)過程演示Fig.11 Simulation demonstration of feature enhancementprocess

2.3 先驗(yàn)框數(shù)量調(diào)整

在SSD網(wǎng)絡(luò)模型中，將Conv4_3、FC7、Conv8_2、Conv9_2、Conv10_2、Conv11_2六個(gè)特征層用于最后的檢測(cè)。特征圖先驗(yàn)框的個(gè)數(shù)預(yù)測(cè)依次為（4，6，6，6，4，4）。Liu等[28]研究表明，低級(jí)特征對(duì)小目標(biāo)檢測(cè)至關(guān)重要。因此，在淺層Conv4_3的特征映射中添加更多的先驗(yàn)框，將先驗(yàn)框個(gè)數(shù)設(shè)置為6，那么檢測(cè)精度，特別是對(duì)于小目標(biāo)的檢測(cè)精度，往往會(huì)提高。

3 實(shí)驗(yàn)

本文在2個(gè)公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來(lái)驗(yàn)證模型的有效性，PASCALVOC[29]公共數(shù)據(jù)集，MSCOCO[30]公共數(shù)據(jù)，分別進(jìn)行了20和80個(gè)對(duì)象類別的實(shí)驗(yàn)。使用VGG-16作為實(shí)驗(yàn)的基礎(chǔ)網(wǎng)絡(luò)。新添加的卷積層的權(quán)重初始化方式為MSRA方法[31]。本文使用NVIDIA Tesla P100 GPU進(jìn)行實(shí)驗(yàn)訓(xùn)練，使用NVIDIA GTX1080Ti進(jìn)行測(cè)試，代碼框架為pytorch0.4。

3.1 PASCAL VOC數(shù)據(jù)集

在這個(gè)實(shí)驗(yàn)中，在PASCAL VOC2007和PASCAL VOC2012訓(xùn)練集的聯(lián)合上訓(xùn)練本文模型，然后在VOC2007測(cè)試集上進(jìn)行測(cè)試。VOC數(shù)據(jù)集為20個(gè)類別，可分為4個(gè)大類別：person（人）、animal（動(dòng)物）、vehicle（交通工具）、indoor（室內(nèi)），類別特征如圖12所示，具體類別在3.2節(jié)中進(jìn)行了實(shí)驗(yàn)。

圖12 類別特征Fig.12 Class feature

實(shí)驗(yàn)中使用兩種不同的輸入大?。?00×300和512×512。對(duì)于300×300，本文的batchsize設(shè)置為32，使用預(yù)熱策略對(duì)前5個(gè)階段進(jìn)行訓(xùn)練，逐步將學(xué)習(xí)率從10-6提高到10-3。初始學(xué)習(xí)率為4×10-3，在150和250輪時(shí)學(xué)習(xí)率迭代下降（除以10），共訓(xùn)練300輪。對(duì)于512×512，batchsize設(shè)置為32，其余超參數(shù)不變。訓(xùn)練過程中損失函數(shù)變化如圖13所示。

圖13 訓(xùn)練過程收斂曲線Fig.13 Training loss curve

本文將FIENet與其他幾種單階段目標(biāo)檢測(cè)器進(jìn)行比較，統(tǒng)計(jì)結(jié)果如表3所示。當(dāng)輸入圖像大小為300×300時(shí)，檢測(cè)精度（mAP）比SSD高3.1個(gè)百分點(diǎn)，此外，本文方法具有很快的推理速度，它可以以78 frame/s的速度運(yùn)行。對(duì)于較大的輸入大?。?12×512），F(xiàn)IENet仍然比SSD準(zhǔn)確率高2.5個(gè)百分點(diǎn)。

表3 PASCAL VOC數(shù)據(jù)集測(cè)試結(jié)果Table 3 PASCAL VOC data set test results

本文隨機(jī)選取了Pascal VOC2007測(cè)試數(shù)據(jù)集中的圖片對(duì)算法的檢測(cè)效果與SSD目標(biāo)檢測(cè)模型進(jìn)行對(duì)比，結(jié)果如圖14所示，相對(duì)于SSD網(wǎng)絡(luò)模型的檢測(cè)，本文模型在小目標(biāo)的檢測(cè)效果更為顯著。

圖14 SSD算法與FIENet算法數(shù)據(jù)集上的對(duì)比結(jié)果Fig.14 Comparison between SSD model and FIENet

3.2 PASCAL VOC單個(gè)類別測(cè)試結(jié)果

本文在PASCAL VOC2007公共數(shù)據(jù)集上進(jìn)行驗(yàn)證實(shí)驗(yàn)，將每一類目標(biāo)檢測(cè)精度與多個(gè)一階段目標(biāo)檢測(cè)算法進(jìn)行比較，實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果如表4所示。結(jié)果表明本文設(shè)計(jì)的模型在多個(gè)類別上均優(yōu)于SSD目標(biāo)檢測(cè)模型，對(duì)于小目標(biāo)boat、bottle、chair、plant檢測(cè)精度分別提升了6.0、9.5、5.4、5.5個(gè)百分點(diǎn)。

表4 PASCAL VOC2007測(cè)試集單個(gè)類別測(cè)試結(jié)果Table 4 Test results of single category of PASCAL VOC2007 test set %

3.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證FIENet中本文設(shè)計(jì)策略的有效性，在PASCAL VOC 2007數(shù)據(jù)集上運(yùn)行具有不同設(shè)置的模型，進(jìn)行了消融實(shí)驗(yàn)，并將評(píng)估結(jié)果記錄在表5中。將先驗(yàn)框數(shù)量分別設(shè)置為（6，6，6，6，4，4）。首先只在淺層使用本文提出的特征融合模塊，mAP是78.5%。然后將特征增強(qiáng)模塊只用于淺層特征融合模塊（FEB1，F(xiàn)EB2）之后，準(zhǔn)確率上升了0.9個(gè)百分點(diǎn)。將特征增強(qiáng)模塊只用于深層（FEB3，F(xiàn)EB4）之后，準(zhǔn)確率上升了0.8個(gè)百分點(diǎn)。將特征增強(qiáng)模塊同時(shí)用于淺層和深層之后，準(zhǔn)確率上升了2.3個(gè)百分點(diǎn)。最后是完整的FIENet網(wǎng)絡(luò)，mAP達(dá)到80.6%，驗(yàn)證了FIENet中設(shè)計(jì)策略的有效性。

表5 融入不同模塊算法效果對(duì)比Table 5 Comparison of algorithm effects of different settings

3.4 MS COCO數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

為了進(jìn)一步驗(yàn)證本文所提出的模型，在MS COCO數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。使用train_val 35k集合（train set+val35k set）進(jìn)行訓(xùn)練，它是來(lái)自訓(xùn)練集（train_set）的80 000張圖像和來(lái)自驗(yàn)證集（val_set）的40 000張圖像的隨機(jī)35個(gè)子集的結(jié)合，并將批大小（batchsize）設(shè)置為32。由于COCO中的對(duì)象比PASCAL VOC中的對(duì)象小，保留了減少默認(rèn)框大小的原始SSD策略。在訓(xùn)練開始時(shí)，仍然采用預(yù)熱策略，在前5個(gè)階段逐步將學(xué)習(xí)率從10-6提高到10-3，然后在80和100個(gè)階段后將其降低10倍，最后到120輪訓(xùn)練結(jié)束。

結(jié)果匯總在表6中。在表中將本文提出的FIENet與多個(gè)先進(jìn)的目標(biāo)檢測(cè)算法進(jìn)行了對(duì)比。本文的模型取得了29.4%的AP，大大超過了SSD300的25.1%的AP。特別是當(dāng)IOU=0.5時(shí)，AP值達(dá)到54.1%。

表6 MS COCO數(shù)據(jù)集檢測(cè)結(jié)果Table 6 Detection results of MS COCO data set

對(duì)于較大的512輸入，本文方法獲得了33.8%的AP，超越大多數(shù)更強(qiáng)大主干和更大輸入尺寸的目標(biāo)檢測(cè)器。例如可變形R-FCN的AP為37.5%，F(xiàn)PN的Faster R-CNN的AP為36.2%。

4 結(jié)論

本文提出了一種準(zhǔn)確、高效的基于SSD的one-stage目標(biāo)檢測(cè)器，有效地提高了檢測(cè)精度。本文中設(shè)計(jì)了特征融合模塊（FIB）和特征增強(qiáng)模塊（FEB），特征融合模塊對(duì)淺層特征進(jìn)行融合；特征增強(qiáng)模塊對(duì)增強(qiáng)輕量級(jí)網(wǎng)絡(luò)的特征表示進(jìn)行增強(qiáng)。特征映射模塊采用了殘差結(jié)構(gòu)，加快了檢測(cè)速度；融入了注意力機(jī)制，自動(dòng)獲取到每個(gè)特征通道的重要程度。通過在Pascal VOC數(shù)據(jù)集上和MSCOCO數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)證明本文模型在提高小目標(biāo)準(zhǔn)確率的同時(shí)，可以保持較高的運(yùn)行速度。實(shí)驗(yàn)結(jié)果表明本文模型達(dá)到了實(shí)時(shí)高精度檢測(cè)目標(biāo)的效果。