一種特征由深到淺疊加融合的多尺度目標(biāo)檢測(cè)模型*

陳海燕李春堯

(蘭州理工大學(xué)計(jì)算機(jī)與通信學(xué)院，甘肅 蘭州 730050)

隨著自動(dòng)駕駛、視頻監(jiān)控等行業(yè)的興起，目標(biāo)檢測(cè)已成為旅游[1]、交通[2]和商業(yè)[3]等多個(gè)領(lǐng)域研究的熱點(diǎn)問(wèn)題。

復(fù)雜場(chǎng)景下的目標(biāo)檢測(cè)面臨著尺度、外觀變化和遮擋等諸多挑戰(zhàn)[4]，其中，多尺度目標(biāo)檢測(cè)的挑戰(zhàn)尤為突出[5]。對(duì)于多尺度目標(biāo)檢測(cè)，除了目標(biāo)尺度變化外，還存在較遠(yuǎn)處的小尺度目標(biāo)難以被識(shí)別的問(wèn)題，加大了目標(biāo)檢測(cè)的難度，而Faster-RCNN網(wǎng)絡(luò)在一定程度上能夠精確地檢測(cè)目標(biāo)[6]，但該網(wǎng)絡(luò)僅在主干網(wǎng)絡(luò)的最后一層進(jìn)行預(yù)測(cè)處理，對(duì)多尺度目標(biāo)特征信息的提取不全面，限制了多尺度目標(biāo)檢測(cè)的性能，影響了最終檢測(cè)精度。因此，有學(xué)者在Faster-RCNN的基礎(chǔ)上，參照SSD(Single Shot MultiBox Detector)網(wǎng)絡(luò)，通過(guò)對(duì)多個(gè)卷積層輸出的特征做分類和回歸的方法，對(duì)檢測(cè)方式進(jìn)行改進(jìn)[7-8]，對(duì)網(wǎng)絡(luò)中多個(gè)尺度的特征圖都進(jìn)行候選區(qū)域的生成操作，這種方法雖然一定程度上解決了小目標(biāo)特征隨卷積層深度的增加而減弱的問(wèn)題，使Faster-RCNN對(duì)小目標(biāo)的檢測(cè)性能有所提升，但對(duì)多尺度目標(biāo)的檢測(cè)效果依然難以令人滿意。而FPN網(wǎng)絡(luò)是一種通過(guò)特征金字塔進(jìn)行特征融合的深度學(xué)習(xí)網(wǎng)絡(luò)[9]，該網(wǎng)絡(luò)在Faster-RCNN的基礎(chǔ)上加入了特征金字塔進(jìn)行特征融合，構(gòu)建了深層特征與淺層特征間的聯(lián)系，對(duì)于多尺度目標(biāo)檢測(cè)的性能有所提升，因此，近年來(lái)FPN已被廣泛應(yīng)用于多尺度目標(biāo)檢測(cè)中。然而，F(xiàn)PN網(wǎng)絡(luò)的特征金字塔結(jié)構(gòu)采用從深層特征到淺層特征進(jìn)行上采樣，并通過(guò)卷積操作將深層特征與淺層特征進(jìn)行融合的方法。這種方法使得特征融合的路徑長(zhǎng)度隨卷積網(wǎng)絡(luò)的加深而增長(zhǎng)，并且使特征關(guān)聯(lián)性隨特征層之間距離的增加而減弱，且特征金字塔只有由深到淺一次特征融合的過(guò)程，難以保證特征融合的充分性。

為增強(qiáng)FPN淺層網(wǎng)絡(luò)特征與深層網(wǎng)絡(luò)特征的關(guān)聯(lián)性，Liu等人[10]在FPN網(wǎng)絡(luò)的基礎(chǔ)上提出了PANet(Path Aggregation Network)，該網(wǎng)絡(luò)針對(duì)FPN網(wǎng)絡(luò)深層特征到淺層特征傳遞路徑過(guò)長(zhǎng)的問(wèn)題提出了一種雙塔結(jié)構(gòu)，即在特征金字塔之后添加一個(gè)由淺到深的路徑，來(lái)縮短FPN網(wǎng)絡(luò)深層特征與淺層特征的傳遞路徑；而Pang等人[11]提出的MINet則用了融合交互模塊來(lái)對(duì)相鄰層的特征進(jìn)行融合，以增強(qiáng)不同分辨率特征的表示能力。這些方法增強(qiáng)了各層特征間的關(guān)聯(lián)性，然而他們的特征融合方式依然只關(guān)注相鄰層特征，忽略遠(yuǎn)程特征之間的依賴關(guān)系，因而影響其特征關(guān)聯(lián)性增強(qiáng)的效果，并且由深到淺或由淺到深的順序融合方式會(huì)導(dǎo)致非相鄰層的特征在融合過(guò)程中被稀釋，使主干網(wǎng)絡(luò)各層輸出的特征對(duì)最終目標(biāo)檢測(cè)結(jié)果的貢獻(xiàn)不平衡。而Libra-RCNN將FPN特征金字塔得到的特征進(jìn)行集成再分別與特征金字塔各層特征相加[12]，雖然提高了FPN網(wǎng)絡(luò)淺層網(wǎng)絡(luò)特征與深層網(wǎng)絡(luò)特征的關(guān)聯(lián)性，也使參與融合的各層特征對(duì)最終目標(biāo)檢測(cè)結(jié)果的貢獻(xiàn)一致，但Libra-RCNN網(wǎng)絡(luò)對(duì)特征金字塔輸出的特征與集成特征僅進(jìn)行單次相加的融合方式不能保證特征融合的充分性[13]。因此，為同時(shí)解決FPN網(wǎng)絡(luò)淺層網(wǎng)絡(luò)特征與深層網(wǎng)絡(luò)特征的關(guān)聯(lián)性不強(qiáng)，以及單次特征融合無(wú)法保證特征融合充分的問(wèn)題，在FPN網(wǎng)絡(luò)的基礎(chǔ)上，首先對(duì)在特征金字塔前各層網(wǎng)絡(luò)中得到的不同尺度的圖像特征進(jìn)行特征融合，增強(qiáng)各層特征間的關(guān)聯(lián)性。其次，針對(duì)單次特征融合無(wú)法使特征得到充分融合的問(wèn)題，在特征金字塔后進(jìn)行補(bǔ)充特征融合，使所提取的特征更有利于多尺度目標(biāo)的檢測(cè)。此外，由于在目標(biāo)檢測(cè)中，圖像及視頻序列中環(huán)境的變化易對(duì)目標(biāo)特征的提取造成干擾，本文在疊加融合后采用non-local網(wǎng)絡(luò)對(duì)特征進(jìn)行增強(qiáng)[14]，減小環(huán)境因素對(duì)特征提取的影響，進(jìn)一步提高模型對(duì)目標(biāo)特征的提取能力。

1 本文目標(biāo)檢測(cè)模型

FPN網(wǎng)絡(luò)由一個(gè)特征金字塔網(wǎng)絡(luò)將主干網(wǎng)絡(luò)的各層特征進(jìn)行上采樣連接，通過(guò)卷積的方式將上采樣后的特征與相鄰層特征進(jìn)行特征融合，這種單次順序的融合方式會(huì)導(dǎo)致各層特征的關(guān)聯(lián)性隨距離增長(zhǎng)而減弱，使得深層特征與淺層特征無(wú)法形成有效的映射，同時(shí)也不能保證特征融合的充分性。

為解決FPN網(wǎng)絡(luò)深層特征與淺層特征關(guān)聯(lián)性弱和特征融合不充分的問(wèn)題，本文在FPN網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建了一種特征由深到淺疊加融合的目標(biāo)檢測(cè)模型，其結(jié)構(gòu)如圖1所示，該目標(biāo)檢測(cè)模型由主干網(wǎng)絡(luò)，特征融合模塊，特征增強(qiáng)網(wǎng)絡(luò)，特征金字塔網(wǎng)絡(luò)，補(bǔ)充特征融合及特征增強(qiáng)模塊和RPN網(wǎng)絡(luò)組成。

圖1 模型整體結(jié)構(gòu)圖

首先，針對(duì)FPN網(wǎng)絡(luò)深層特征與淺層特征關(guān)聯(lián)性弱的問(wèn)題，本文由模型的主干網(wǎng)絡(luò)提取特征得到圖1所示C2，C3，C4，C5，再通過(guò)卷積、上采樣以及池化等操作讓各層特征圖的尺度和通道數(shù)一致，將調(diào)整后得到的特征F2～F5進(jìn)行由深到淺疊加融合，得到特征Z2，Z3，Z4。同時(shí)，為減小環(huán)境因素對(duì)特征提取造成的影響，將上述特征融合后得到的特征圖Z2，Z3，Z4采用non-local網(wǎng)絡(luò)進(jìn)行特征增強(qiáng)。之后，與文獻(xiàn)[12]中先將特征集成再與原特征相加的方法不同，所提模型將特征融合以及特征增強(qiáng)后的特征輸入特征金字塔網(wǎng)絡(luò)進(jìn)行上采樣并與相鄰層特征進(jìn)行融合。與FPN相比，本文在特征金字塔前加入了一個(gè)特征融合模塊，以增強(qiáng)主干網(wǎng)絡(luò)提取的各層特征間的關(guān)聯(lián)性。并且，為使多層網(wǎng)絡(luò)特征融合更充分，本文模型將特征金字塔得到的特征進(jìn)行補(bǔ)充特征融合與特征增強(qiáng)，并將得到的特征P2、P3、P4、P5、P6輸入RPN網(wǎng)絡(luò)用于最終檢測(cè)，其中P6為P5通過(guò)最大池化而得。

值得注意的是，本文模型僅在FPN網(wǎng)絡(luò)目標(biāo)檢測(cè)模型的基礎(chǔ)上，在特征提取部分添加了特征融合模塊，特征增強(qiáng)模塊以及補(bǔ)充特征融合及特征增強(qiáng)模塊，其他部分都相同，F(xiàn)PN網(wǎng)絡(luò)目標(biāo)檢測(cè)模型詳見(jiàn)文獻(xiàn)[9]。

1.1 各層特征關(guān)聯(lián)性的增強(qiáng)

由文獻(xiàn)[8]研究可知，特征金字塔網(wǎng)絡(luò)由深到淺單次順序的特征融合方法會(huì)使非相鄰層的特征在融合過(guò)程中被稀釋，在網(wǎng)絡(luò)中的影響會(huì)逐漸下降，無(wú)法保證深層特征與淺層特征形成有效聯(lián)系，由于多尺度目標(biāo)檢測(cè)中，不同特征層的特征對(duì)不同尺度目標(biāo)的檢測(cè)各有貢獻(xiàn)，因此深層特征在融合過(guò)程中被稀釋會(huì)對(duì)多尺度目標(biāo)的檢測(cè)性能造成不利影響。因此，本文在FPN網(wǎng)絡(luò)的特征金字塔前進(jìn)行了一次疊加融合，以增強(qiáng)FPN各層之間特征的關(guān)聯(lián)性。文獻(xiàn)[8]表明，在FPN中按順序的特征融合方式使特征圖更多地關(guān)注相鄰層，而忽略較遠(yuǎn)層的依賴，文獻(xiàn)[12]中的模型通過(guò)將各層不同特征進(jìn)行一次平衡后再與原特征融合的方法可以有效地解決上述問(wèn)題。為了讓各層特征聯(lián)系更加緊密，本文將不同層間的特征分多次進(jìn)行特征平衡:從最深層開(kāi)始，第一次將相鄰兩層相加取均值，第二次在第一次基礎(chǔ)上再向下加一個(gè)層并取均值，此后每次均進(jìn)行相同操作，以此迭代直到最后一層，相比于文獻(xiàn)[12]中只取一次均值的方法，本文的特征融合方法可以使任意一層特征與其非相鄰特征之間的關(guān)聯(lián)性更加緊密。上述的特征融合方式主要為逐層疊加，因此在本文中稱為由深到淺的疊加融合，具體步驟如圖2所示:

圖2 特征融合

①提取特征:本文以Resnet101為主干網(wǎng)絡(luò)，首先提取Resnet101中Stage2，Stage3，Stage4，Stage5四個(gè)階段的特征，Stage2～Stage5為Resnet101中的卷積層Conv2～Conv5[15]，取每個(gè)階段最后一個(gè)卷積層的特征可以得到4個(gè)不同階段的特征{C2，C3，C4，C5}。

②調(diào)整特征通道及尺度:通過(guò)1×1的卷積操作進(jìn)行橫向連接調(diào)整C2～C5特征的通道數(shù)為256，調(diào)整后的特征記為{F2，F(xiàn)3，F(xiàn)4，F(xiàn)5}再通過(guò)最大池化和雙線性插值的上采樣調(diào)整F2～F5的尺度，綜合考慮尺度縮放對(duì)最終檢測(cè)結(jié)果的影響以及模型運(yùn)算量的問(wèn)題，將所有特征層的尺度調(diào)整到F4的尺度，具體為F5用雙線性插值上采樣一次，F(xiàn)3最大池化1次，F(xiàn)2最大池化2次，調(diào)整后的F2～F5尺度一致，通道數(shù)均為256。

③特征融合:如式(1)所示，其中Z n為n層特征融合后的輸出，F(xiàn) n為第n層的特征。將F5與F4相加后取均值得到Z4；F5，F(xiàn)4，F(xiàn)3相加取均值得到Z3；F5，F(xiàn)4，F(xiàn)3，F(xiàn)2相加取均值得到Z2，最終得到經(jīng)過(guò)由深到淺疊加融合后的結(jié)果為{Z2，Z3，Z4}。

圖3所示為FPN網(wǎng)絡(luò)經(jīng)過(guò)由深到淺疊加融合后各層間特征關(guān)聯(lián)性變化示意圖，由圖可更加直觀地看出，通過(guò)由深到淺疊加融合，深層網(wǎng)絡(luò)的特征在融合的過(guò)程中不再被稀釋，使FPN網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)間的特征關(guān)聯(lián)性得到明顯增強(qiáng)。

圖3 各層間特征關(guān)聯(lián)性變化示意圖

1.2 non-local網(wǎng)絡(luò)特征增強(qiáng)

由于在自然場(chǎng)景中的目標(biāo)檢測(cè)通常會(huì)受天氣，光線等環(huán)境因素的影響而干擾目標(biāo)的特征提取，并且同一圖像經(jīng)常包含多個(gè)特征相似的目標(biāo)，因此本文對(duì)由深到淺疊加融合后的特征圖進(jìn)行特征增強(qiáng)，以減小環(huán)境因素影響，增強(qiáng)待檢測(cè)目標(biāo)的特征。參考文獻(xiàn)[14]及文獻(xiàn)[16]可知，non-local網(wǎng)絡(luò)不受感受野范圍限制，能充分利用圖像的非局部相似性，通過(guò)一張圖像或特征圖內(nèi)任意距離上相似像素的關(guān)聯(lián)性來(lái)增強(qiáng)特征，因此本文采用non-local網(wǎng)絡(luò)來(lái)增強(qiáng)特征圖，以提高圖像中目標(biāo)定位的準(zhǔn)確性。

如圖4所示，本文將1.1中由深到淺疊加融合后得到的結(jié)果Z4，Z3，Z2，分別作為non-local網(wǎng)絡(luò)的輸入進(jìn)行計(jì)算，即可通過(guò)non-local網(wǎng)絡(luò)對(duì)Z2～Z4進(jìn)行增強(qiáng)，得到增強(qiáng)后的特征圖X2，X3，X4。

圖4 特征增強(qiáng)

綜上，將non-local網(wǎng)絡(luò)應(yīng)用于由深到淺疊加融合的過(guò)程中，可對(duì)每次疊加融合后得到的特征圖Z2，Z3，Z4進(jìn)行增強(qiáng)，加強(qiáng)了非相鄰深層網(wǎng)絡(luò)特征對(duì)淺層網(wǎng)絡(luò)特征的影響，進(jìn)一步提高了各層網(wǎng)絡(luò)特征與非相鄰層網(wǎng)絡(luò)特征的關(guān)聯(lián)性，為最終預(yù)測(cè)提供與背景對(duì)比更鮮明、位置更準(zhǔn)確的輸入特征，使檢測(cè)器更加準(zhǔn)確地識(shí)別目標(biāo)的特征和位置。

1.3 特征融合充分性的增強(qiáng)

文獻(xiàn)[10]表明，多次特征提取及融合的機(jī)制可增強(qiáng)特征融合的充分性，提高網(wǎng)絡(luò)在目標(biāo)檢測(cè)中的精確度，但該文獻(xiàn)將FPN得到的結(jié)果重新輸入主干網(wǎng)絡(luò)并參與訓(xùn)練，雖然使目標(biāo)檢測(cè)精度提升明顯，但這種方法需要將FPN網(wǎng)絡(luò)訓(xùn)練兩次，訓(xùn)練成本較大。因此，為在提高特征融合充分性的同時(shí)節(jié)省訓(xùn)練成本，本文對(duì)特征金字塔網(wǎng)絡(luò)輸出的特征再進(jìn)行一次如本文1.1所述的特征融合，而不是重新輸入主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而在節(jié)約訓(xùn)練成本的前提下提高模型檢測(cè)性能。如圖5所示，將特征金字塔的輸出再一次進(jìn)行由深到淺的疊加融合，融合后的結(jié)果通過(guò)non-local網(wǎng)絡(luò)進(jìn)行特征增強(qiáng)，然后調(diào)整尺度，得到最終用于預(yù)測(cè)的{P2，P3，P4，P5，P6}，其中P6由P5通過(guò)最大池化得到。

圖5 二次特征融合及特征增強(qiáng)

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)說(shuō)明

為驗(yàn)證本文模型在目標(biāo)檢測(cè)中的性能，本文以PASCAL VOC2007和2012數(shù)據(jù)集中所有類別的圖像對(duì)模型進(jìn)行訓(xùn)練和測(cè)試。此外，為驗(yàn)證本文模型對(duì)多尺度目標(biāo)檢測(cè)性能的提升，又對(duì)PASCAL VOC數(shù)據(jù)集中的行人類別進(jìn)行了單獨(dú)測(cè)試，同時(shí)為保證對(duì)比實(shí)驗(yàn)的公平性，所有對(duì)比實(shí)驗(yàn)均在同一實(shí)驗(yàn)平臺(tái)下完成。

2.2 實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)采用的操作系統(tǒng)為Ubuntu 16.04，顯卡為RTX 2080TI，GPU加速為CUDA 10，編程語(yǔ)言為Python 3.6，深度學(xué)習(xí)框架為Pytorch 1.2。

2.3 結(jié)果分析

本文使用AP(Average Precesion)、mAP(Mean Average Precision)及目標(biāo)檢測(cè)模型的檢測(cè)速度三種指標(biāo)對(duì)目標(biāo)檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)。

為驗(yàn)證特征融合的特征層數(shù)及融合次數(shù)對(duì)目標(biāo)檢測(cè)精度的影響，首先在FPN模型的基礎(chǔ)上進(jìn)行了添加不同數(shù)量特征層和不同融合方式的對(duì)比實(shí)驗(yàn)，結(jié)果如表1所示。

表1 不同特征層數(shù)量及不同特征融合方式的目標(biāo)檢測(cè)性能對(duì)比

由表1可知，對(duì)不同層的特征進(jìn)行融合可以提高最終的目標(biāo)檢測(cè)精度，其中實(shí)驗(yàn)B和實(shí)驗(yàn)C中各層均只進(jìn)行一次融合，實(shí)驗(yàn)B為添加F5～F3三層特征層相加取均值的方法，由表中數(shù)據(jù)可知，該方法比FPN的檢測(cè)精度提高了0.5%；實(shí)驗(yàn)C為添加了將所有層直接相加取均值的方法，該方法在實(shí)驗(yàn)B檢測(cè)精度的基礎(chǔ)上提升了0.2%；實(shí)驗(yàn)D和實(shí)驗(yàn)E是在實(shí)驗(yàn)C的基礎(chǔ)上分別對(duì)不同特征層進(jìn)行多次融合，實(shí)驗(yàn)D為添加相鄰層相加融合取均值的方法，檢測(cè)精度比實(shí)驗(yàn)C提高了0.3%，較FPN提升了1%，實(shí)驗(yàn)E為本文提出的由深到淺疊加融合方法，其檢測(cè)精度在實(shí)驗(yàn)D的基礎(chǔ)上提升了0.6%，較FPN提升了1.6%。由實(shí)驗(yàn)C，D，E的結(jié)果對(duì)比可知，隨著深層網(wǎng)絡(luò)特征融合次數(shù)的增多，檢測(cè)精度也隨之得到提升。由此可見(jiàn)，深層網(wǎng)絡(luò)所提取的特征在特征融合過(guò)程中被稀釋的問(wèn)題會(huì)影響最終檢測(cè)結(jié)果，而本文方法可以有效緩解深層網(wǎng)絡(luò)特征在融合過(guò)程中被稀釋的問(wèn)題，大大減小因深層網(wǎng)絡(luò)特征被稀釋而對(duì)最終檢測(cè)結(jié)果造成的影響，使深層特征與淺層特征各層特征的關(guān)聯(lián)性得到增強(qiáng)，也使各層特征融合得更充分，有效提高了檢測(cè)精度。

表2所示為主流目標(biāo)檢測(cè)模型與本文模型的總體性能對(duì)比，由表中數(shù)據(jù)可知，F(xiàn)PN模型比Faster-RCNN模型總體性能提升了2.6%，而在FPN模型基礎(chǔ)上，無(wú)論是在FPN網(wǎng)絡(luò)之前或之后添加一次本文所提出的由深到淺的疊加融合，模型的總體檢測(cè)精度均得到再次提升，其中實(shí)驗(yàn)C1為將FPN網(wǎng)絡(luò)經(jīng)過(guò)上采樣與相鄰層特征融合后，把得到的特征輸入本文由深到淺疊加融合方法中(即在FPN網(wǎng)絡(luò)之后加入本文提出的由深到淺疊加融合方法)，實(shí)驗(yàn)D1則是將主干網(wǎng)絡(luò)得到的特征先通過(guò)本文由深到淺疊加融合的方法進(jìn)行特征融合再進(jìn)行FPN網(wǎng)絡(luò)上采樣與相鄰特征融合(即在FPN網(wǎng)絡(luò)之前加入本文提出的由深到淺疊融合方法)。實(shí)驗(yàn)結(jié)果表明，由于FPN網(wǎng)絡(luò)存在特征關(guān)聯(lián)性有限以及深層特征與淺層特征融合不夠充分的問(wèn)題，因此限制了先經(jīng)過(guò)FPN網(wǎng)再輸入到本文由深到淺疊加融合方法特征的表現(xiàn)力，導(dǎo)致實(shí)驗(yàn)C1的檢測(cè)精度相對(duì)較低，僅比FPN模型精度提高了0.9%，而實(shí)驗(yàn)D1先通過(guò)本文由深到淺疊加融合方法，讓深層網(wǎng)絡(luò)與淺層網(wǎng)絡(luò)得到了更有效融合，為FPN網(wǎng)絡(luò)輸入了表現(xiàn)力更強(qiáng)的特征，因此最終檢測(cè)精度相對(duì)較高，較FPN模型相比，精度提升了1.6%。實(shí)驗(yàn)E1為本文模型，在FPN網(wǎng)絡(luò)前后均進(jìn)行一次本文提出的特征融合方法，由最終結(jié)果可知，實(shí)驗(yàn)E1的總體檢測(cè)精度在實(shí)驗(yàn)D1的基礎(chǔ)上又提高了0.8%，相比FPN模型提高了2.4%，達(dá)到了80.6%。可見(jiàn)，本文提出的由深到淺疊加融合方法通過(guò)增加深層網(wǎng)絡(luò)的融合次數(shù)，增強(qiáng)了深層特征和淺層特征的關(guān)聯(lián)性，使特征融合更加充分，令最終用于目標(biāo)檢測(cè)的特征信息量更足，表現(xiàn)力更強(qiáng)，對(duì)目標(biāo)檢測(cè)的性能影響顯著，有效提高了目標(biāo)檢測(cè)的檢測(cè)精度。然而，本文雖然通過(guò)由深到淺疊加融合以及補(bǔ)充融合的方法有效提高了檢測(cè)精度，但由于融合次數(shù)的增多，在提高檢測(cè)精度的同時(shí)，對(duì)檢測(cè)速度產(chǎn)生了一定影響。因此，為了進(jìn)一步驗(yàn)證本文方法對(duì)檢測(cè)速度造成的影響，對(duì)實(shí)驗(yàn)A1～E1分別進(jìn)行檢測(cè)速度測(cè)試，結(jié)果如表2所示，由表中數(shù)據(jù)可以看出，與Faster-RCNN模型檢測(cè)一張圖像耗時(shí)0.069 s相比，F(xiàn)PN模型檢測(cè)一張圖像耗時(shí)0.071 s，實(shí)驗(yàn)B1、C1耗時(shí)0.074 s，本文實(shí)驗(yàn)?zāi)Ｐ虴1耗時(shí)0.077 s，僅比Faster-RCNN模型耗時(shí)增加0.008 s，比FPN模型耗時(shí)增加0.006 s?？梢?jiàn)，本文提出的特征由深到淺疊加融合方法對(duì)模型的檢測(cè)速率影響并不明顯，可忽略不計(jì)。

表2 主流方法在PASCAL VOC所有類別中檢測(cè)性能對(duì)比

為驗(yàn)證本文模型的多尺度目標(biāo)檢測(cè)性能，將4種目標(biāo)檢測(cè)模型在PASCAL VOC2007和2012數(shù)據(jù)集中的行人類別上單獨(dú)進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果如表3所示。

表3 主流方法在PASCAL VOC行人類別中檢測(cè)性能對(duì)比

在表3中，實(shí)驗(yàn)A2為文獻(xiàn)[6]中的Faster-RCNN目標(biāo)檢測(cè)模型，該模型檢測(cè)精度為76.3%，實(shí)驗(yàn)B2為文獻(xiàn)[9]中的FPN目標(biāo)檢測(cè)模型，其檢測(cè)精度為78.5%，實(shí)驗(yàn)C2如本文1.1及1.2中所述，僅在主干網(wǎng)絡(luò)后進(jìn)行一次特征融合方法的模型，該模型精度為80.9%，相比FPN提高了2.4%。實(shí)驗(yàn)D2為在實(shí)驗(yàn)C2的模型基礎(chǔ)上，在特征金字塔之后添加了本文1.4中所述補(bǔ)充特征融合的模型，即本文所提出的目標(biāo)檢測(cè)模型，在行人類別上的檢測(cè)精度達(dá)到81.3%，較FPN提高了2.8%，可見(jiàn)，本文模型在多尺度的目標(biāo)檢測(cè)上性能提升更加明顯。

圖6所示為在PASCAL VOC數(shù)據(jù)集中的行人類別上，本文模型與Faster-RCNN及FPN目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果的對(duì)比圖。由圖6中(a)、(b)兩組圖可以看出，F(xiàn)aster-RCNN與FPN對(duì)于行人檢測(cè)中的小目標(biāo)性能均有限，對(duì)于復(fù)雜環(huán)境下行人檢測(cè)中的小目標(biāo)存在較多漏檢問(wèn)題。由(c)可見(jiàn)，本文模型通過(guò)對(duì)圖像特征進(jìn)行由深到淺的疊加融合和以及補(bǔ)充特征融合，增強(qiáng)了各層特征的關(guān)聯(lián)性，使得特征融合更加充分，并且通過(guò)non-local網(wǎng)絡(luò)進(jìn)行特征增強(qiáng)后，提升了圖像中長(zhǎng)距離像素的關(guān)聯(lián)性，提高了模型的檢測(cè)性能，相比于Faster-RCNN和FPN，本文模型對(duì)數(shù)據(jù)集中不同尺度目標(biāo)的檢測(cè)性能提升明顯，對(duì)小目標(biāo)也可以進(jìn)行精確檢測(cè)，漏檢問(wèn)題改善顯著，能夠更加準(zhǔn)確地檢測(cè)出圖像中尺度比較小的行人目標(biāo)。

圖6 行人檢測(cè)結(jié)果

3 結(jié)論

FPN網(wǎng)絡(luò)僅進(jìn)行單次特征融合，存在淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)特征關(guān)聯(lián)性不強(qiáng)，多層網(wǎng)絡(luò)特征無(wú)法充分融合，無(wú)法保證多尺度目標(biāo)檢測(cè)的性能問(wèn)題。本文首先以FPN網(wǎng)絡(luò)為主體，對(duì)其主干網(wǎng)絡(luò)提取的特征進(jìn)行由深到淺疊加融合，來(lái)增強(qiáng)FPN網(wǎng)絡(luò)中淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)之間的關(guān)聯(lián)性。同時(shí)，針對(duì)FPN網(wǎng)絡(luò)僅通過(guò)特征金字塔進(jìn)行單次由深到淺的特征融合，無(wú)法使多層網(wǎng)絡(luò)的特征得到充分融合的問(wèn)題，本文在特征金字塔后進(jìn)行補(bǔ)充特征融合，提高模型對(duì)不同尺度目標(biāo)的檢測(cè)精度。此外，為減小天氣、光線等環(huán)境因素對(duì)目標(biāo)特征提取的影響，本文對(duì)由深到淺疊加融合后將得到的特征分別利用non-local網(wǎng)絡(luò)進(jìn)行特征增強(qiáng)，抑制環(huán)境因素對(duì)目標(biāo)特征提取的影響，進(jìn)一步提高檢測(cè)精度。最后，以PASCAL VOC2007和2012數(shù)據(jù)集的所有圖像對(duì)本文模型進(jìn)行訓(xùn)練和測(cè)試，并將其結(jié)果分別與Faster-RCNN和FPN進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文模型相比與Faster-RCNN和FPN，目標(biāo)檢測(cè)性能有所提升，其中通過(guò)對(duì)數(shù)據(jù)集中行人類別的單獨(dú)測(cè)試可以看出，本文模型對(duì)多尺度目標(biāo)檢測(cè)性能的提升尤為突出。