基于多尺度特征融合和殘差注意力機(jī)制的目標(biāo)檢測*

李本高，吳從中，許良鳳，詹 曙

(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,安徽 合肥 231009)

1 引言

近年來計(jì)算機(jī)視覺領(lǐng)域[1,2]的重大進(jìn)步是顯而易見的，這些卓有成效的成果不僅受益于經(jīng)典算法的研究，基于學(xué)習(xí)的方法對(duì)其發(fā)展更是起著舉足輕重的作用。目標(biāo)檢測算法的優(yōu)化和升級(jí)也證實(shí)了這一說法。為了突出本文的研究重點(diǎn)，可以從以下3個(gè)方面總結(jié)基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法：

(1)基于單尺度特征的檢測網(wǎng)絡(luò)。隨著卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的不斷優(yōu)化，R-CNN[3]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)傳統(tǒng)檢測器進(jìn)行了改進(jìn)，在精度上取得了巨大的進(jìn)步，開創(chuàng)了目標(biāo)檢測的嶄新時(shí)代。SPPNET(Spatial Pyramid Pooling convolutional NETworks)[4]允許任意大小的輸入，避免重復(fù)計(jì)算卷積的特性大大提高了檢測器的速度。Fast R-CNN[5]將訓(xùn)練ConvNet集成到具有多任務(wù)損失的端到端管道中，并引入ROI池化層來推進(jìn)該模式。Faster R-CNN[6]用一個(gè)區(qū)域提議網(wǎng)絡(luò)RPN(Region Proposal Network)代替了代價(jià)高昂的選擇性搜索，使提取的特征信息能夠在整個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)權(quán)重共享。此后，研究者們?cè)诖嘶A(chǔ)上提出了很多其他方法來優(yōu)化目標(biāo)檢測器，如R-FCN(Region-based Fully Convolutional Netowrks)[7]提出了位置敏感的Score maps，以解決檢測中的位置靈敏度問題。除了基于區(qū)域的檢測器外，還有一些效率更高的單級(jí)目標(biāo)檢測器。YOLO[8]率先在單個(gè)端到端ConvNet中實(shí)現(xiàn)了對(duì)象類預(yù)測和位置回歸。YOLOv2[9]擯棄了全連接層，重新設(shè)計(jì)了一個(gè)用于檢測的骨干網(wǎng)絡(luò)，并生成了anchor box來更準(zhǔn)確地預(yù)測邊界框。這些方法力求只依賴于頂層特征來表示不同尺度目標(biāo)的特征，因此對(duì)所有目標(biāo)都具有固定的感受野，這導(dǎo)致很多信息被丟失了，而這些信息通常對(duì)于檢測小目標(biāo)是非常有用的。

(2)基于多尺度特征的檢測網(wǎng)絡(luò)。由于單尺度特征映射不擅長表示不同大小和形狀的目標(biāo)，所以從不同層提取相關(guān)信息自然地能緩解這種矛盾。MS-CNN(Multi-Scale deep Convolutional Neural Network)[10]從不同尺度特征映射中提取Proposal region，同時(shí)利用作用在特征圖的反卷積替換對(duì)輸入圖像的上采樣，從而提高速度和精度。SSD(Single Shot multibox Detector)[11]在截?cái)嗟腣GG-16[12]上擴(kuò)展了幾個(gè)額外的卷積層作為其骨干網(wǎng)絡(luò)，并且根據(jù)不同的感受野設(shè)置不同的默認(rèn)框大小，從而能更好地預(yù)測各種尺度的目標(biāo)。例如，低層Conv4_3的特征更精細(xì)，可以執(zhí)行較小尺度的目標(biāo)檢測，而高層的特征更適合檢測較大尺度的目標(biāo)。這種自下而上的金字塔層次結(jié)構(gòu)能夠分別檢測不同大小的對(duì)象。然而，盡管有意避免使用太低級(jí)的特征(從Conv4_3構(gòu)建金字塔)，但是卷積神經(jīng)網(wǎng)絡(luò)的淺層無法充分提取特征的問題仍然限制了檢測器在小尺度目標(biāo)檢測上的性能。解決此問題的直觀方案是通過更深的前饋路徑來增強(qiáng)特征表達(dá)能力，在這種情況下，加深的特征圖可以獲得具有平移不變性的更高級(jí)的語義，這有利于目標(biāo)分類，但不利于位置回歸。

(3)基于多尺度融合特征的檢測網(wǎng)絡(luò)。得益于多層特征融合和不同的采樣策略之間的相互作用，HyperNet[13]在處理小對(duì)象和生成更高質(zhì)量的proposal方面比Fast R-CNN更好。FPN(Feature Pyramid Networks)[14]則通過附加的自上而下的體系結(jié)構(gòu)緩解了這種矛盾，該體系通過上采樣增強(qiáng)了語義信息，并通過橫向連接添加了細(xì)節(jié)，從而構(gòu)建出高級(jí)語義特征圖。DSSD(Deconvolutional Single Shot Detector)[15]利用反卷積模塊在SSD基準(zhǔn)網(wǎng)絡(luò)上構(gòu)建特征金字塔。基于多尺度融合特征的檢測網(wǎng)絡(luò)通過注入大規(guī)模的上下文信息提高檢測精度。然而，發(fā)生在自下而上和自上而下的體系結(jié)構(gòu)上的相應(yīng)層融合不夠有效，并且它實(shí)際上過多地依賴于最頂層的特征好壞程度。YOLOv3[16]也采用類似FP架構(gòu)，以實(shí)現(xiàn)對(duì)小目標(biāo)相對(duì)較高的平均精度。FSSD(Feature fusion Single Shot multibox Detector)[17]將來自不同層的特征拼接在一起，并且用一些下采樣操作構(gòu)建新的特征金字塔。像設(shè)計(jì)分類網(wǎng)絡(luò)一樣，專門用于目標(biāo)檢測的骨干網(wǎng)絡(luò)還是非常少的，DetNet(Network for object Detection)[18]提出了一種新的目標(biāo)檢測骨干網(wǎng)絡(luò)，在較深的層次上保持了較高的空間分辨率。此外，為了使訓(xùn)練過程更高效，基于R-CNN的方法通過采樣啟發(fā)式及其固有的兩階段級(jí)聯(lián)優(yōu)化檢測器，這是兩階段檢測器精度高的原因之一。同時(shí)，一些檢測方法使用OHEM(Online Hard Example Mining)[19]算法來抑制大量的負(fù)樣本。RetinaNet[20]通過創(chuàng)造性地重新定義損失函數(shù)來實(shí)現(xiàn)這一點(diǎn)，其中Focal Loss項(xiàng)被用來緩解由圖像的前景背景不平衡帶來的問題。

為了進(jìn)一步緩解在深層網(wǎng)絡(luò)中小區(qū)域空間特征容易丟失的問題。本文提出的方法結(jié)合了2個(gè)相鄰的層來豐富上下文信息。與其它復(fù)雜的融合方法相比，本文方法融合的特征圖的表征能力并不遜色，因?yàn)檫@2個(gè)近距離特征是高度互補(bǔ)和相關(guān)的，而且，某些看似對(duì)特征表示有益的融合實(shí)際上是對(duì)特征雙方的一種損害。第3節(jié)中詳細(xì)解釋了為什么使用這種融合機(jī)制。為了進(jìn)一步提高檢測器檢測精度，本文精心設(shè)計(jì)了用于融合2層特征圖的合適的Conv層。此外，受人類感知過程的啟發(fā)，注意力機(jī)制[21,22]被廣泛用于計(jì)算機(jī)視覺領(lǐng)域。殘差注意力學(xué)習(xí)被用來優(yōu)化非常深的卷積網(wǎng)絡(luò)[5]，該網(wǎng)絡(luò)可以有效地堆疊到數(shù)百層，其中自下而上、自上而下的前饋?zhàn)鳛樽⒁饬δK的一部分，用來對(duì)特征進(jìn)行軟加權(quán)。在研究如何為低級(jí)別特征提供精確的像素級(jí)注意力方面，通常具有更大感受野的注意力因子能更好地引導(dǎo)特征圖合成，因此，本文從最頂層的特征映射出發(fā)，通過反卷積操作構(gòu)造自頂向下的結(jié)構(gòu)，為融合的特征映射提供了在所有尺度上的注意力權(quán)重。為了防止關(guān)鍵信息在級(jí)聯(lián)網(wǎng)絡(luò)中不堪重負(fù)，本文設(shè)計(jì)了一種新穎的殘差注意力融合架構(gòu)來監(jiān)督特征金字塔結(jié)構(gòu)每一級(jí)的融合，這與殘差注意力網(wǎng)絡(luò)[23]完全不同，同時(shí)，本文使用的注意力因子具有最高級(jí)別的語義信息，而諸如SENet[24]這種通道層面上的注意力機(jī)制因?yàn)槿狈ο袼丶?jí)的注意力，所以不擅長處理多尺度空間特征。本文提出的方法使SSD性能進(jìn)一步優(yōu)化，即以實(shí)時(shí)速度實(shí)現(xiàn)對(duì)多尺度目標(biāo)更高的檢測精度。

Figure 1 Network architecture

2 本文方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

事實(shí)證明，用低層高分辨率特征圖檢測小目標(biāo)是有效的，因?yàn)樘卣鲌D中小目標(biāo)對(duì)應(yīng)的感受野相對(duì)較小，而低層的精確定位特征無疑對(duì)檢測是有用的。本文采用與原始SSD一致的特征提取器，通過VGG-16以2倍的縮放步長生成多尺度特征圖(在截?cái)郪GG-16的末端擴(kuò)展附加的卷積層)。迭代過程可以表示如下:

fi(x)=Ci(fi-1(x))=

Ci(Ci-1(fi-2(x)))=

Ci(Ci-1…C1(x))

(1)

detectionresult={P1(f1),P2(f2),…,Pn(fn)}

(2)

其中，Ci(·)是骨干網(wǎng)絡(luò)的第i個(gè)卷積塊;f(·)是選擇的特征，隨著特征層的加深索引i變大，特征層越來越深；P(·)是預(yù)測層，負(fù)責(zé)將特征圖轉(zhuǎn)換為分類置信度和邊界框。本文通過2個(gè)相互連接的模塊進(jìn)一步優(yōu)化了多尺度檢測器，將2個(gè)模塊有機(jī)地組合成一個(gè)新穎的網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.2 融合模塊

盡管大多數(shù)檢測器使用各種多尺度結(jié)構(gòu)來解決圖像中物體多樣性的問題，但在小物體上的進(jìn)展卻不太令人滿意。大目標(biāo)之所以能夠獲得可靠的檢測結(jié)果，主要是因?yàn)槠浠咎卣髟诰矸e神經(jīng)網(wǎng)絡(luò)的傳播中不容易丟失。不幸的是，由于低級(jí)特征的不足和高級(jí)特征的信息缺陷帶來的雙重壓力使小物體檢測處于尷尬的境地。一方面，適當(dāng)?shù)墓歉删W(wǎng)是緩解這一矛盾的關(guān)鍵，除了考慮推理速度外，深度層次結(jié)構(gòu)也會(huì)嚴(yán)重?fù)p害目標(biāo)的位置特征，對(duì)于較小尺寸的圖像則更為嚴(yán)重；另一方面，學(xué)習(xí)強(qiáng)大的抽象語義和精確的位置特征對(duì)各個(gè)級(jí)別的預(yù)測是必須的，這無疑會(huì)使學(xué)習(xí)系統(tǒng)超負(fù)荷。受上述2方面因素影響，特征很容易被極化或保持在中立水平，這可能是檢測器對(duì)小物體難以達(dá)到期望檢測結(jié)果的原因。

本文提出了一種通過組合2個(gè)近距離特征層來獲取互補(bǔ)信息的方法，以下3個(gè)原因促使選擇2個(gè)相鄰特征進(jìn)行融合：(1)由于2種特征之間的明顯區(qū)別，深層的預(yù)測可信度將由于淺層特征的組合而降低；(2)感受野大的深層特征通常會(huì)向淺層引入大量無用的背景噪聲；(3)近距離的特征層通常保留最有用的信息，用于檢測小物體的Conv4_3也得到了增強(qiáng)。因此本文關(guān)注相鄰層之間的融合以捕獲它們的互補(bǔ)性。

在如圖2所示的融合模塊中，用一組1×1、3×3和1×1的卷積核處理尺寸為2W×2H×D2(W、H和D2分別表示特征圖的寬度、高度和通道數(shù))的較淺的特征，圖2中的D表示卷積核的個(gè)數(shù)，而另一個(gè)更高層的2W×2H×D特征圖的處理過程中添加了1×1個(gè)卷積作為緩沖器。這樣的架構(gòu)可在以下3個(gè)方面發(fā)揮作用：(1)通過特定的映射并向高層提供有用的位置信息來增強(qiáng)低層特征的表征能力；(2)對(duì)低級(jí)高分辨率特征圖進(jìn)行下采樣，以匹配相應(yīng)的高級(jí)低分辨率特征圖尺寸；(3)在3×3卷積運(yùn)算之前使用1×1卷積核減少一半的通道，然后使用1×1卷積核在融合時(shí)恢復(fù)，從而提高計(jì)算效率。可以通過式(2)來概括這一過程：

Mi,c(x)=fi,c(x)+F(fi-1,c(x))

(3)

其中,fi,c(·)表示來自骨干網(wǎng)絡(luò)的第i級(jí)基本特征層；c表示信道的索引；F(·)是一種特殊的映射；Mi,c(·)是融合特征圖。值得注意的是，融合過程是從頂部向底部進(jìn)行的。

Figure 2 Internal details of the two modules

2.3 殘差注意模塊

如果沒有額外的指導(dǎo)，融合模塊很難準(zhǔn)確地捕獲關(guān)鍵特征。鑒于具有足夠分類信息的高級(jí)特征可以作為引導(dǎo)低層信息的方向，本文通過傳播最上層的高級(jí)語義，設(shè)計(jì)了一種自適應(yīng)聚合信息的自頂向下路徑。期望在抽象語義的指導(dǎo)下增強(qiáng)有意義的特征，同時(shí)抑制不太有用的特征。然而，用像素和與像素積等一般方法將2個(gè)弱相關(guān)特征聯(lián)系起來并不能實(shí)現(xiàn)很好的融合效果，因?yàn)榍罢邥?huì)疊加噪聲，而后者可能會(huì)削弱有用的信息。例如，加權(quán)特征圖Ai,c(x)*Mi,c(x)可以由特征圖Ai,c(x)在自上而下結(jié)構(gòu)中和對(duì)應(yīng)的融合特征圖Mi,c(x)進(jìn)行像素級(jí)相乘來生成。在這種情況下，像素值通過加權(quán)(0～1)在抑制無意義特征的同時(shí)破壞了原始有用特征的良好性能。隨著層疊金字塔層數(shù)的加深，這些關(guān)鍵特征將被進(jìn)一步削弱，這可能會(huì)破壞原有網(wǎng)絡(luò)的特性，隱式地降低了后續(xù)層對(duì)小目標(biāo)的敏感性。

本文提出了一種基于殘差注意力學(xué)習(xí)的多尺度注意力融合方法，以構(gòu)建一種對(duì)稱的自下而上和自上而下的金字塔體系結(jié)構(gòu)。具體來說，受到注意的有用特征不應(yīng)該比它原來沒被注意力加權(quán)時(shí)差。所以，本文設(shè)計(jì)的融合特征在注意力機(jī)制下被具有豐富分類的高級(jí)特征監(jiān)督。在這個(gè)過程中，小物體被逐漸顯示出來，而其中反卷積的主要作用是恢復(fù)特征圖尺寸。

本文的殘差注意模塊的出發(fā)點(diǎn)不同于以往的方法，這直接導(dǎo)致了體系結(jié)構(gòu)上的差異。具體來說，使用自上而下的體系結(jié)構(gòu)的全局信息來指導(dǎo)融合各種尺度的特征，而殘差注意力網(wǎng)絡(luò)[23]僅將自上而下網(wǎng)絡(luò)中最高分辨率特征圖與原始特征圖結(jié)合在一起。因此，在2×2的反卷積層之后添加一個(gè)3×3卷積核，并使用Sigmoid層對(duì)注意力因子進(jìn)行歸一化。此外，還在融合的特征后進(jìn)行了3×3的卷積操作，并使用ReLu層來激活特征，進(jìn)行批量歸一化[25]，以獲得更好的特性。最后，通過殘差注意操作精煉用于預(yù)測的特征。本文所提出的注意力機(jī)制用式(4)表示如下：

Ri=Ai+1,c(x)=(1+Ai,c(x))*Mi,c(x)

(4)

detectionresult={P1(R1),P2(R2),…,Pn(Rn)}

(5)

其中,Ai,c(·)是多尺度注意力因子，在反卷積操作后用Sigmoid將其進(jìn)行歸一化，當(dāng)注意力權(quán)重為0時(shí)，Mi,c(·)維持原始值。同時(shí)生成的特征圖不僅是當(dāng)前尺度下預(yù)測模塊的輸入，也是指導(dǎo)下一次精細(xì)特征合成的注意因子。級(jí)聯(lián)的自下而上的體系結(jié)構(gòu)以其增量的特性保留著完整的信息，金字塔層次越低，注意力特征圖越能用來準(zhǔn)確地檢測小目標(biāo)。

3 實(shí)驗(yàn)與分析

本文基于基準(zhǔn)數(shù)據(jù)集PASCAL VOC評(píng)估了所提方法的性能，實(shí)驗(yàn)使用MXNet框架并在具有2塊NVIDIA 1080Ti GPU的計(jì)算機(jī)上進(jìn)行。與SSD相同，預(yù)訓(xùn)練的VGG-16(在ILSVRC CLS-LOC數(shù)據(jù)集上)用于初始化模型，以便有效地比較。此外，本文還設(shè)計(jì)了消融實(shí)驗(yàn)來分析每個(gè)模塊的有效性。同時(shí)，為了突出本文方法的優(yōu)越性，還將實(shí)驗(yàn)結(jié)果與主流方法進(jìn)行了比較。各實(shí)驗(yàn)方法的性能由平均平均精度mAP(mean Average Precision)推理速度來衡量，分別反映了各方法的精度和速度。

3.1 PASCAL VOC 2007上的實(shí)驗(yàn)

本文方法在2007 trainval和2012 trainval上進(jìn)行了訓(xùn)練(16 551幅圖像)，并在2007 test上進(jìn)行了測試(4 952幅圖像)。使用SGD優(yōu)化器進(jìn)行12×104次迭代，Momentum與Weight Decay分別設(shè)為0.9和0.000 5，對(duì)于512×512的輸入圖像，Batch Size設(shè)置為24，對(duì)于300×300的輸入圖像，Batch Size設(shè)置為32。初始學(xué)習(xí)率為0.001，在8×104次迭代時(shí)降低為0.000 1，10×104次迭代時(shí)降低為0.000 01。為了使添加的模塊與基準(zhǔn)網(wǎng)絡(luò)之間維持更好的磨合過程，實(shí)驗(yàn)基于預(yù)先訓(xùn)練的VGG-16而不是直接基于預(yù)先訓(xùn)練的SSD。

表1中展示了一些主流檢測方法的性能。本文方法在輸入為300×300時(shí)mAP達(dá)到了78.8%，超過了基于ResNet-101的SSD300和DSSD321等的單階段方法的?？梢钥闯霰疚姆椒ú粌H在速度上遠(yuǎn)遠(yuǎn)領(lǐng)先于兩階段目標(biāo)檢測器，而且其檢測精度甚至超過了大多數(shù)檢測器的，例如Faster R-CNN和R-FCN。如文獻(xiàn)[26]所述，輸入圖像的分辨率對(duì)檢測有重大影響，這是合乎邏輯的，因?yàn)榕c小圖像相比，大圖像包含更多可見信息。因此，當(dāng)分辨率提高到512×512時(shí)，本文方法的mAP達(dá)到80.7%，比SSD的高出1.5%。DSSD513在檢測精度上比本文方法稍好，但是DSSD使用了重量級(jí)的主干網(wǎng)絡(luò)ResNet-101，通過犧牲計(jì)算效率來提高檢測精度。可以預(yù)見，本文方法的推理速度要比DSSD513快得多。此外，它從另一個(gè)角度證明了過度深化網(wǎng)絡(luò)對(duì)較小規(guī)模輸入的特征信息并不友好。圖3展示了可視化的檢測結(jié)果，同樣證明了本文方法起到了較好的效果，特別是對(duì)圖像中的小目標(biāo)。

3.2 推理速度

高效的計(jì)算效率本來應(yīng)該是單階段檢測器的優(yōu)勢(shì)，與SSD相比，本文方法在速度上受到新添加模塊的影響。在表2(第5列)中展示了速度性能的對(duì)比。所有結(jié)果都是在使用單一NVIDIA 1080Ti GPU的計(jì)算機(jī)上獲得的。不出所料，SSD繼續(xù)保持領(lǐng)先地位。本文方法在300×300的輸入下達(dá)到31.5 FPS的速度，在512×512的輸入下達(dá)到14.8 FPS的速度。正如所期望的，因?yàn)楸疚姆椒ㄈ匀皇菍?shí)時(shí)的，所以在速度和準(zhǔn)確性之間的權(quán)衡保持在合理的范圍內(nèi)。而且，它的推理速度遠(yuǎn)遠(yuǎn)領(lǐng)先于DSSD的。

Table 1 Comparison of experimental results on PASCAL VOC 2007 test

Table 2 Comparison of inference speed on PASCAL VOC 2007 test

Figure 3 Comparison of detection visualization performance

3.3 消融實(shí)驗(yàn)

為了證明融合模塊和殘差注意力模塊的有效性，實(shí)驗(yàn)還使用設(shè)計(jì)的2個(gè)模塊來構(gòu)造3個(gè)變體，并比較它們?cè)赑ASCAL VOC 2007 test上的性能，結(jié)果如表3所示。除了添加或刪除相應(yīng)的模塊外，不同變體在實(shí)驗(yàn)過程中保持相同的超參數(shù)，以確保公平地比較。實(shí)驗(yàn)仍然在PASCAL VOC 2007和PASCAL VOC 2012訓(xùn)練集上訓(xùn)練模型，固定輸入圖像大小為300×300，并在PASCAL VOC 2007 test上進(jìn)行測試。

Table 3 Ablation experiment on PASCAL VOC 2007

(1)融合模塊有效性。首先，僅將融合模塊添加到原始SSD。通過添加融合模塊，可以觀察到mAP顯著增加(表3的第3行顯示了SSD+融合模塊變體的性能)。這有力證明了融合模塊對(duì)于充分探索潛在的上下文信息非常有幫助，其結(jié)果與理論分析相符。同時(shí)，盡可能地嘗試了各種融合操作以獲得更好的結(jié)果，包括按元素求和、按元素乘積和通道拼接。所有融合策略對(duì)檢測都有很好的效果，之所以選擇像素和，是因?yàn)樗诒疚姆椒ㄖ斜憩F(xiàn)最佳。

(2)殘差注意力模塊有效性。實(shí)驗(yàn)結(jié)果如表3(第4行和第5行)所示，基于自頂向下體系結(jié)構(gòu)的多尺度殘差注意力學(xué)習(xí)對(duì)指導(dǎo)高質(zhì)量特征圖的合成起著至關(guān)重要的作用。將殘差注意力模塊應(yīng)用于原始SSD，以構(gòu)建純的殘留注意力檢測網(wǎng)絡(luò)(不要通過融合模塊融合特征圖)，并將其與原始的注意力框架進(jìn)行比較，即注意力特征是由點(diǎn)積直接生成的，而無需殘差注意力學(xué)習(xí)。根據(jù)最后2行的比較可以得出一個(gè)結(jié)論，不管是否添加了融合模塊，帶有殘差注意力機(jī)制的檢測器總是比帶有原始注意力機(jī)制的檢測器更有效。

與基準(zhǔn)SSD相比，使用本文方法構(gòu)造的變體的性能均有所提升。根據(jù)在PASCAL VOC上評(píng)估的實(shí)驗(yàn)結(jié)果，當(dāng)同時(shí)采用本文提出的2種策略時(shí)，效果提升更為明顯。這表明融合模塊和殘差注意力模塊的有效協(xié)作對(duì)多尺度特征起到積極作用。

4 結(jié)束語

本文的理論源于多尺度特征融合與注意力機(jī)制的相互作用，提出了一種具有自適應(yīng)注意力機(jī)制的特征金字塔框架，同時(shí)考慮了豐富的上下文信息對(duì)分類和定位的積極影響，以及高級(jí)語義特征對(duì)全局特征的指導(dǎo)作用。具體來說，低層特征圖的精細(xì)細(xì)節(jié)可以有效地豐富上下文信息，而由高層語義通過自頂向下的結(jié)構(gòu)合成的多尺度注意圖可以提高特征圖在各個(gè)層次上的表達(dá)能力。在基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文所提出的方法適用于檢測所有尺度目標(biāo)。此外，盡管本文僅介紹了基于SSD基準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)框架，但該方法具有通用性，可應(yīng)用于絕大多數(shù)檢測網(wǎng)絡(luò)。未來將繼續(xù)在更多基準(zhǔn)框架上擴(kuò)展設(shè)計(jì)體系結(jié)構(gòu)，并嘗試探索更有效的骨干網(wǎng)絡(luò)來適應(yīng)對(duì)移動(dòng)目標(biāo)的檢測。