基于上下文信息和多尺度融合重要性感知的特征金字塔網(wǎng)絡(luò)算法

楊 昊，張 軼

（四川大學(xué) 計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

目標(biāo)檢測是計(jì)算機(jī)視覺中的最重要的任務(wù)之一［1］，已經(jīng)被深入研究并廣泛地應(yīng)用于目標(biāo)追蹤［2］、語義分割［3-4］等一些下游任務(wù)中。它包含目標(biāo)分類和目標(biāo)定位兩個(gè)子任務(wù)：分類子任務(wù)需要有豐富的語義信息，而定位子任務(wù)需要詳細(xì)的位置信息；前者要求更大的感受野，而后者要求更高的分辨率。然而，這兩個(gè)需求在實(shí)現(xiàn)上是相互矛盾的，這是目標(biāo)檢測所面臨的困難之一。目標(biāo)檢測器按照模型的結(jié)構(gòu)可以分為骨干網(wǎng)絡(luò)（Backbone）、脖頸（Neck）和檢測頭（Head）三部分。Backbone 負(fù)責(zé)從輸入圖片中提出特征；Neck 旨在增強(qiáng)特征圖的表示能力；而Head 則基于特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［5］增強(qiáng)后的特征圖作分類和定位子任務(wù)。其中，特征圖的表示能力是影響模型性能的關(guān)鍵因素，因此對Neck 的關(guān)注非常重要。

FPN 是目標(biāo)檢測中經(jīng)典的Neck 結(jié)構(gòu)之一，它將高分辨率低語義的淺層特征圖和低分辨率高語義的深層特征圖融合在一起，使淺層的特征圖能夠接收到深層的豐富語義信息，一定程度上緩解了分類和定位子任務(wù)的矛盾，從而極大地提高了目標(biāo)檢測的性能。當(dāng)前的許多優(yōu)秀的目標(biāo)檢測器，如Faster R-CNN［6］、RetinaNet［7］、一階段全連接目標(biāo)檢測器（Fully Convolutional One-Stage object detection，F(xiàn)COS）［8］等都采用了FPN 作為Neck 結(jié)構(gòu)。還有一部分學(xué)者改進(jìn)FPN 并取得了不錯(cuò)的成績，如路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PANet）［9］、Libra R-CNN［10］和AugFPN［11］等。然而，現(xiàn)有檢測器仍然存在以下不足：

1）現(xiàn)有檢測器增加感受野的方式導(dǎo)致模型的深度增加，難以收斂。為了檢測大物體，需要更大的感受野，而當(dāng)前增加感受野的方式是簡單地堆疊卷積或下采樣，導(dǎo)致模型層數(shù)增加，收斂困難。此外，以這種方式增加感受野會(huì)降低特征圖的分辨率，難以取得語義信息和位置信息的平衡。

2）特征圖融合時(shí)缺少對不同尺度特征圖重要性的關(guān)注。FPN 的特點(diǎn)之一是融合不同尺度特征圖，這給它帶來了很多的精度提升，所以特征融合方式對模型的性能影響很大。為了提高FPN 性能，PANet 和平衡特征金字塔網(wǎng)絡(luò)（Balanced feature Pyramid Network，BPN）［10］分別在FPN 的基礎(chǔ)上增加了自底向上的特征傳遞路徑和特征精練。但是，它們在特征融合時(shí)缺少對不同尺度特征圖重要性的關(guān)注。顯然，從語義角度出發(fā)，低分辨率的深層特征圖更重要；從位置信息的角度出發(fā)，高分辨率的淺層特征圖更重要。將所有特征圖以相同的權(quán)重相加會(huì)導(dǎo)致一些原有的重要信息被抑制，因此，特征圖融合時(shí)不同尺度特征圖重要性不同。

3）復(fù)雜特征融合存在的混疊效應(yīng)。雖然融合不同尺度特征圖能夠提高性能，但是不同尺度的特征圖有著不同語義信息，如果將不同尺度特征圖變換到相同分辨率后就直接融合，必然會(huì)產(chǎn)生混疊效應(yīng)。融合后的特征圖存在大量冗余特征，語義信息和定位信息的疊加也可能會(huì)讓模型難以區(qū)分分類和定位子任務(wù)。

為解決以上問題，本文提出了三個(gè)模塊：1）為了緩解現(xiàn)有金字塔結(jié)構(gòu)在大感受野和高分辨率上的矛盾，提出了一個(gè)上下文增強(qiáng)模塊（Context Enhancement Module，CEM）。CEM使用多個(gè)不同空洞率的空洞卷積來提取并融合特征，能夠在分辨率不變的情況下獲得多個(gè)不同的感受野，從而增強(qiáng)模型的語義信息。2）提出了一種多級特征融合（Multi-Level Fusion，MLF）模塊，將不同尺度特征圖變換成相同大小后，采用堆疊的方式融合特征圖，得到一個(gè)新的維度——層級維度，從而更好地保留不同尺度特征圖的信息。3）為了更好地精練融合后的特征，本文提出了一個(gè)注意力引導(dǎo)的特征精練模塊（Attention-guided Feature Refinement Module，AFRM）。它包括三個(gè)維度的子模塊，即層級子模塊、空間子模塊和通道子模塊。AFRM 以多尺度融合結(jié)果為輸入，通過層級子模塊為不同尺度特征圖賦予不同權(quán)值，讓模型學(xué)習(xí)不同尺度特征圖的重要性；空間子模塊計(jì)算任意位置間的交互得到位置信息；通道子模塊通過通道間的局部交互來緩解混疊效應(yīng)。

1 相關(guān)工作

1.1 目標(biāo)檢測算法

目標(biāo)檢測器一般可以分為一階段和二階段的檢測器。二階段的檢測器首先生成許多候選區(qū)域，然后再對這些候選區(qū)域分類。最早的二階段檢測器為區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-based Convolutional Neural Network，R-CNN）［12］，它先通過Selective Search 算法［13］生成2 000 個(gè)候選區(qū)域，然后通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取這些候選區(qū)域的特征來分類。為提高效率，F(xiàn)ast R-CNN［14］直接在整張圖片上提取特征，讓不同候選區(qū)域共享卷積操作，然后通過空間金字塔池化（Spatial Pyramid Pooling，SPP）生成不同候選區(qū)域的特征。接著，F(xiàn)aster R-CNN［6］進(jìn)一步提出了區(qū)域建議網(wǎng)絡(luò)（Region Propose Network，RPN），將候選區(qū)域的生成與分類整合到一個(gè)模型上，實(shí)現(xiàn)了模型的端到端訓(xùn)練。隨后出現(xiàn)了大量從不同角度改進(jìn)Faster R-CNN 的工作，文獻(xiàn)［5］中使用FPN 實(shí)現(xiàn)多尺度特征融合，文獻(xiàn)［15］中級聯(lián)了多個(gè)交并比（Intersection over Union，IoU）閾值不斷提高的檢測器。一階段的檢測器還可分為基于錨和不基于錨的檢測器?；阱^的檢測器在特征圖上的每個(gè)格子上預(yù)設(shè)大量的先驗(yàn)框，然后通過一個(gè)統(tǒng)一的網(wǎng)絡(luò)同時(shí)對這些邊框分類和回歸。一階段檢測器的代表算法有SSD（Single Shot multibox Detector）［16］和YOLO［17］。和二階段檢測器相比，它們雖然簡單和快速，但是精度卻很低。直到RetinaNet 的出現(xiàn)，一階段檢測器的性能才大幅提升。不基于錨的一階段檢測器如FCOS、FoveaBox［18］等直接在特征圖的每個(gè)格子上預(yù)測分類得分和偏移，相較于基于錨的檢測器，擺脫了錨的復(fù)雜設(shè)置，更加簡單。此外，還有一些檢測器使用關(guān)鍵點(diǎn)代替邊框來檢測物體，如CornerNet［19］。

1.2 上下文信息

上下文信息能提取出重要線索幫助分類和定位候選框，這種提高算法性能的方式已被廣泛研究。文獻(xiàn)［20］中使用不同空洞率的空洞卷積獲取多尺度的上下文信息；文獻(xiàn)［21］中使用空洞卷積組成的編碼器增強(qiáng)上下文信息；文獻(xiàn)［22］中提出一種上下文信息精練算法以提取上下文信息；文獻(xiàn)［23］中在骨干網(wǎng)上增加環(huán)境上下文特征融合模塊，為小目標(biāo)提供上下文信息；文獻(xiàn)［24］中采用non-local 操作捕獲長范圍依賴，把每個(gè)位置的響應(yīng)看作所有其他位置特征加權(quán)相加的結(jié)果，從而獲取全局的上下文信息；文獻(xiàn)［25］中從全局和局部視圖中捕獲上下文信息，并通過注意力機(jī)制有效地識(shí)別有用的全局上下文。

1.3 多尺度特征融合

FPN 自上而下地融合不同尺度的特征圖，一定程度上緩解了感受野和語義需求的矛盾，大幅提高了檢測器的性能。隨后許多學(xué)者基于FPN 作了改進(jìn)，NAS-FPN［26］使用神經(jīng)網(wǎng)絡(luò)搜索讓模型學(xué)習(xí)到一種更佳的跨尺度融合結(jié)構(gòu)。Libra RCNN［10］中的平衡特征金字塔（Balanced Feature Pyramid，BFP）通過融合多個(gè)尺度的特征圖讓模型在不同尺度特征圖上取得更好的平衡。PANet 在FPN 的基礎(chǔ)上增加了一條自下而上的鏈接，將淺層特征圖的位置信息傳遞給深層特征圖。EfficientDet［27］簡化了PANet 并提出一種帶權(quán)重的雙向連接的FPN。AugFPN 分析了FPN 存在的問題并提出一個(gè)新的金字塔架構(gòu)來減小不同尺度特征圖融合前的語義差異。

1.4 注意力機(jī)制

隨著注意力機(jī)制［28］的興起，越來越多學(xué)者關(guān)注注意力機(jī)制在視覺任務(wù)中的應(yīng)用。當(dāng)前，目標(biāo)檢測的上游視覺任務(wù)圖像分類中已有大量的注意力機(jī)制應(yīng)用案例，如SE-NET（Squeeze-and-Excitation NETwork）［29］、CBAM（Convolutional Block Attention Module）［30］等，它們的出現(xiàn)為目標(biāo)檢測提供了高性能的Backbone。目標(biāo)檢測中也出現(xiàn)許多基于注意力機(jī)制 的Head 結(jié) 構(gòu)，如Dynamic Head［31］、Relation［32］和DeTR（Detection TRansformer）［33］，其中DeTR 將基于Transformer 的注意力機(jī)制引入目標(biāo)檢測，該機(jī)制對不同預(yù)測之間的成對關(guān)系進(jìn)行建模。然而，這些算法大多聚焦于注意力機(jī)制在Backbone 或者Head 部分的應(yīng)用，忽視了Neck 部分。

2 本文算法

當(dāng)特征圖相較于輸入圖片步長較大時(shí)，能得到較大的感受野，這能幫助更好地分類。然而目標(biāo)檢測任務(wù)除了分類還需要定位，較大的步長會(huì)使位置信息模糊，不利于回歸任務(wù)。FPN 中，深層特征圖適合檢測大物體，淺層特征圖適合檢測小物體。然而淺層特征圖缺少足夠的語義信息識(shí)別小物體，深層特征圖缺少足夠的位置信息作精確回歸。盡管FPN 中自上而下的路徑能夠緩解這個(gè)問題，但是它的特征圖的感受野比較單一，指定輸入分辨率的情況下要想獲得更大的感受野就需要堆疊更多的卷積層。此外，F(xiàn)PN 的這種特征融合方式會(huì)讓融合后的特征圖更關(guān)注鄰近特征圖，Libra R-CNN 中提出的BFP 有效地緩解了這一問題，但是它在融合時(shí)忽略了不同尺度特征圖具有不同重要性。

本章提出一種新的特征金字塔結(jié)構(gòu)來緩解目標(biāo)檢測中感受野和分辨率的矛盾和特征融合時(shí)的不足。本文提出的特征金字塔包括三個(gè)子模塊：上下文增強(qiáng)模塊（CEM）、多級特征融合（MLF）和注意力引導(dǎo)的特征精練模塊（AFRM）。

2.1 整體架構(gòu)

本文算法的架構(gòu)如圖1 所示，C3、C4、C5分別代表下采樣8、16 和32 的不同層的輸入圖像。此外，C5被輸入到上下文增強(qiáng)模塊（CEM），該模塊使用不同空洞率的卷積從感受野中提取豐富的語義信息。將CEM 的輸出和C5相加得到F5，使提取得到的豐富上下文信息能夠傳遞到淺層的特征圖，幫助識(shí)別小物體。P3、P4、P5是在F3、F4、F5的基礎(chǔ)上增強(qiáng)的特征，通過多級特征融合（MLF）重新整形為相同分辨率大小后堆疊融合。最后，融合結(jié)果作為注意力引導(dǎo)的特征精練模塊（AFRM）的輸入，得到特征金字塔的輸出R3、R4和R5。

圖1 本文算法的架構(gòu)Fig.1 Architecture of the proposed algorithm

2.2 上下文增強(qiáng)模塊

較大的感受野能夠獲得豐富的上下文信息，從而更好地識(shí)別物體，但是僅有大的感受野也容易導(dǎo)致小物體被忽略。因此本文提出了上下文增強(qiáng)模塊（CEM），它能夠在不降低分辨率的情況下獲得不同的感受野，得到具有更強(qiáng)識(shí)別能力的目標(biāo)特征。具體而言，如圖2 所示，為了獲取不同的感受野，CEM 包括了k個(gè)不同空洞率的空洞卷積，給定一個(gè)輸入特征圖X∈RC×H×W（C代表通道數(shù)，H×W是分辨率），CEM 通過不同空洞率的空洞卷積，得到相同尺寸但是不同感受野的特征圖Xi，i∈{1，2，…，k}。為了讓這些特征圖以一種自適應(yīng)的方式相加，本文分別計(jì)算了它們的權(quán)重。首先，將這些特征圖沿通道維度拼接起來得到特征圖X*∈RkC×H×W（kC為k×C個(gè)通道），然后通過一個(gè)1 × 1 卷積和Sigmoid 激活函數(shù)得到總的權(quán)重圖W∈Rk×H×W，每個(gè)通道的權(quán)重都對應(yīng)不同的特征圖，將W沿通道拆分成k個(gè)子權(quán)圖Wi∈R1×H×W，i∈{1，2，…，k}，分別對應(yīng)k個(gè)不同感受野的特征圖Xi。最后將本文將所有Wi和Xi的乘積相加得到輸出Xout。

圖2 CEM的結(jié)構(gòu)Fig.2 Structure of CEM

其中：Xi=Convi(X)，Convi對應(yīng)不同空洞率的空洞卷積。

2.3 多尺度特征融合

為了生成更具辨別力的特征，F(xiàn)PN 通過自上而下的路徑將語義強(qiáng)的特征與高分辨率相結(jié)合，導(dǎo)致輸出特征更多地關(guān)注相鄰分辨率，而較少關(guān)注其他分辨率。為了緩解這個(gè)問題，BFP 將多尺度特征合并為一個(gè)中間特征，然后用這個(gè)中間特征增強(qiáng)原始特征。

然而，BFP 未能認(rèn)識(shí)到不同尺度的特征圖具有不同的重要性。不同尺度的特征圖具有不同的語義信息和位置信息，在融合過程中應(yīng)該具有不同的權(quán)重，所以本文建立了一種自適應(yīng)的多級特征融合（MLF），它的結(jié)構(gòu)如圖3 所示。在特征圖通過池化操作或者上采樣變換到相同分辨率后，將它們堆疊起來得到一個(gè)新的層級維度（L），而不是像BFP 那樣將它們拼接起來。堆疊后的特征為M∈RL×C×H×W，這樣可以很好地保留不同層級的特征圖的信息。為了方便二維卷積的計(jì)算，將M變形為M′∈RL×C×S，其中，S=H×W。為了在特征圖分辨率和語義信息上取得平衡，MLF 將不同分辨率的特征圖變換到中間層特征圖的分辨率。具體來說，對分辨率較低的特征圖通過鄰近插值的方式上采樣，對分辨率較高的特征圖執(zhí)行池化操作。之后，將融合的特征圖M′作為AFPM的輸入，其中的層級子模塊將幫助模型關(guān)注更重要的層級。

圖3 MLF的結(jié)構(gòu)Fig.3 Structure of MLF

2.4 注意力引導(dǎo)的特征精練模塊

為了更好地融合不同層級的特征圖，幫助模型學(xué)習(xí)更關(guān)鍵的信息，本文設(shè)計(jì)了注意力引導(dǎo)的特征精練模塊（AFRM），它包括三個(gè)注意力子模塊，即層級子模塊、空間子模塊和通道子模塊。首先，為了讓模型關(guān)注重要的特征層，本文設(shè)計(jì)了一個(gè)基于注意力機(jī)制的層級子模塊來計(jì)算一組最佳的層級權(quán)重；其次，在層級子模塊之后堆疊了空間和通道上的注意力子模塊，空間子模塊通過選擇更重要的位置來增加不同位置之間的交互，以促進(jìn)上下文信息的提取，通道注意模塊增強(qiáng)了不同通道之間的局部交互，以減輕融合過程引起的混疊效應(yīng)。

如圖4 所示，輸入特征圖F∈RL×C×S先經(jīng)過層級子模塊φl計(jì)算一個(gè)層級注意力權(quán)重Al∈RL×1×1，然后與F相乘并輸出Fl∈RL×C×S，將Fl沿L維度取均值，得到Fl' ∈R1×C×S，F(xiàn)l'作為空間子模塊的輸入。

圖4 AFRM的結(jié)構(gòu)Fig.4 Structure of AFRM

空間子模塊φs會(huì)生成一個(gè)空間注意力權(quán)重As∈R1×H×W，然后與Fl'相加得到輸出Fs∈RC×H×W。通道子模塊φc以Fs為輸入并生成一個(gè)通道注意力權(quán)重Ac∈RC×1×1。對Fs應(yīng)用上采樣、恒等變換和池化操作得到｛R3'，R4'，R5'｝，分別對應(yīng)｛P3，P4，P5｝的分辨率，變換的方式與融合時(shí)相反。之后，將｛R3'，R4'，R5'｝與｛P3，P4，P5｝分別相加，并將Ac與相加后的結(jié)果相加得到最終的輸出｛R3，R4，R5｝。這個(gè)過程對應(yīng)的公式如下：

其中，φl、φs、φc分別是計(jì)算層級、空間、通道三個(gè)維度注意力的操作。

層級子模塊結(jié)構(gòu)如圖5 所示，為了更高效地提取層級維度的信息，對特征圖的S和C維度作平均池化將特征圖形狀變?yōu)長× 1 × 1，然后通過一個(gè)1 × 1 卷積來近似線性變換，之后通過線性整流函數(shù)（Rectified Linear Unit，ReLU）和Sigmoid激活得到各層級的權(quán)重Al∈RL×1×1。

圖5 層級子模塊的結(jié)構(gòu)Fig.5 Structure of level sub-module

空間子模塊結(jié)構(gòu)如圖6所示，輸入特征Fl' ∈RC×H×W，使用3 個(gè)1×1卷積分別生成三個(gè)形狀為RC×H×W的特征圖，然后再將這三個(gè)特征圖的形狀重構(gòu)得到三個(gè)特征圖：f∈RN×C、θ∈RC×N和γ∈RN×C，其中，總分辨率大小N=H×W。將f與θ點(diǎn)乘得到一個(gè)相似性矩陣I，然后將I傳入Softmax 得到歸一化的輸出I′。然后將I′與γ點(diǎn)乘得到Y(jié)，代表每個(gè)位置與所有其他位置的交互，最后重構(gòu)Y得到空間注意力As∈RC×H×W。Y的計(jì)算公式如下：

圖6 空間子模塊的結(jié)構(gòu)Fig.6 Structure of spatial sub-module

通道子模塊的結(jié)構(gòu)如圖7 所示，給定輸入特征圖Fs，同時(shí)使用平均池化和最大池化分別對Fs作池化操作，將得到的兩個(gè)特征圖從C× 1 × 1 的形狀壓縮為C× 1，接著用卷積核為3 的一維卷積替換全連接來近似線性運(yùn)算，然后將卷積輸出擴(kuò)張為C× 1 × 1。最后，將兩個(gè)特征圖相加并用Sigmoid函數(shù)處理，得到通道注意力Ac∈RC×1×1。

圖7 通道子模塊的結(jié)構(gòu)Fig.7 Structure of channel sub-module

3 實(shí)驗(yàn)與結(jié)果分析

選擇在MS-COCO 2017 數(shù)據(jù)集［34］上驗(yàn)證本文算法的有效性。本章將描述該數(shù)據(jù)集并提供算法的實(shí)現(xiàn)細(xì)節(jié)；同時(shí)，通過綜合性的消融實(shí)驗(yàn)驗(yàn)證各模塊的有效性，并與當(dāng)前先進(jìn)的方法比較。

3.1 數(shù)據(jù)集和評價(jià)指標(biāo)

MS COCO 2017（簡稱為COCO）數(shù)據(jù)集包含80 個(gè)類別，分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練集（train2017）包括118 287 張圖像，驗(yàn)證集（val2017）包括5 000 張驗(yàn)證圖像，測試集由20 000 張沒有標(biāo)簽的圖像組成。模型使用訓(xùn)練集訓(xùn)練，消融實(shí)驗(yàn)和最終結(jié)果的評估則分別在驗(yàn)證集和測試集上進(jìn)行。性能指標(biāo)遵循COCO 標(biāo)準(zhǔn)，測量在多個(gè)IoU 閾值下的平均精度（Average Precision，AP），IoU 取值范圍為［0.5，0.95］，間隔為0.05。當(dāng)IoU 為0.50 和0.75 時(shí)，用AP50和AP75表示；小、中、大尺度物體的精度用APS、APM、APL表示。模型推理時(shí)間使用幀率評估。

3.2 實(shí)現(xiàn)細(xì)節(jié)

所有的實(shí)驗(yàn)都使用MMDetection 2.6 框架［35］（一個(gè)基于PyTorch 1.5.1 的開源目標(biāo)檢測框架）。本文使用2 個(gè)NVIDIA 2080Ti GPU 訓(xùn)練，遵循MMDetection 中的慣例，調(diào)整輸入圖片的大小，使最短的邊為800，且最長的邊不超過1 333。為了測試本文提出的特征金字塔，將采用Faster RCNN 作為基線，以提出的特征金字塔替代原FPN，并將初始學(xué)習(xí)率設(shè)為0.005。實(shí)驗(yàn)中，1x 和2x 為訓(xùn)練計(jì)劃：1x 表示總共訓(xùn)練12 個(gè)周期，并且學(xué)習(xí)率在第8 個(gè)周期和第11 個(gè)周期后分別除以10；2x 表示總共24 個(gè)周期，學(xué)習(xí)率在第16 和第22 個(gè)周期后分別除以10。默認(rèn)采用1x 為訓(xùn)練計(jì)劃。CEM 中的空洞卷積數(shù)量默認(rèn)為5，對應(yīng)空洞率為｛3，6，9，12，15｝。殘差網(wǎng)絡(luò)（Residual Network，ResNet）能緩解網(wǎng)絡(luò)層數(shù)增加時(shí)的網(wǎng)絡(luò)退化問題，避免網(wǎng)絡(luò)訓(xùn)練困難，作為經(jīng)典骨干網(wǎng)絡(luò)在視覺領(lǐng)域中被廣泛使用。因此，本文采用ResNet-50［36］、ResNet-101 和ResNext101-64x4d［37］作為骨干網(wǎng)絡(luò)，和其他檢測器比較。所有其他設(shè)置都遵循MMDetection 的設(shè)置。

3.3 主要結(jié)果

在COCO 測試集上將本文算法和先進(jìn)檢測器比較，包括：YOLOv2［38］、SSD［16］、RetinaNet［7］、FCOS［8］、CornerNet［19］、Faster R-CNN［6］、Mask R-CNN［39］、Libra R-CNN［10］、AugFPN［11］，結(jié)果如表1 所示。通過將FPN 替換為本文提出的特征金字塔結(jié)構(gòu)，F(xiàn)aster R-CNN+ResNet-50 的AP 達(dá)到了39.2%，和使用原始FPN 的Faster R-CNN 相比，提高了1.4 個(gè)百分點(diǎn)。此外，當(dāng)使用性能更好的骨干網(wǎng)時(shí)，算法性能也會(huì)更好。例如，采用ResNet-101 作為骨干網(wǎng)時(shí)，AP 達(dá)到了41.0%，相較于使用原始FPN 的Faster R-CNN 提高了1.0 個(gè)百分點(diǎn)。因此，本文提出的特征金字塔優(yōu)于原FPN 和其他FPN 的改進(jìn)網(wǎng)絡(luò)。

表1 不同算法在COCO測試數(shù)據(jù)集上的平均精度對比 單位：%Tab.1 Comparisons of average precisoin of different algorithms on COCO test set unit：%

3.4 消融實(shí)驗(yàn)

在COCO 驗(yàn)證集（val2017）上進(jìn)行消融實(shí)驗(yàn)，根據(jù)是否添加某一部分來研究本文算法的3 個(gè)核心模塊是否有效，實(shí)驗(yàn)結(jié)果如表2 所示。隨著CEM、MLM 和AFRM 逐漸添加到基線（Faster R-CNN/ResNet-50/FPN）上，模型的精度逐漸提高。

表2 三個(gè)核心模塊的平均精度對比 單位：%Tab.2 Comparison of average precision of three core modules unit：%

3.4.1 上下文增強(qiáng)模塊

本節(jié)將分析上下文增強(qiáng)模塊（CEM）的影響并討論它的最佳結(jié)構(gòu)。如表2 所示，在往基線模型上增加CEM 后，模型AP 提高了1.0 個(gè)百分點(diǎn)。正如3.2 節(jié)所描述，CEM 采用了多個(gè)不同空洞率的空洞卷積來獲取不同感受野，因此，本節(jié)通過一系列實(shí)驗(yàn)來探索最佳的卷積數(shù)和空洞率。

如表3 所示，在沒有添加空洞卷積的情況下，AP 只有37.6%。當(dāng)卷積數(shù)k為3 時(shí)，AP 為38.4%，通過感受野增強(qiáng)的上下文信息有限；相反，當(dāng)k=7 時(shí)，AP 為38.4%，過多的卷積反而造成了信息冗余。當(dāng)k=5，且空洞率設(shè)置為（3，6，9，12，15）時(shí)，AP 為38.6%，模型取得最佳結(jié)果。

表3 CEM的卷積數(shù)和空洞率對AP的影響 單位：%Tab.3 Effects of convolution number and dilation rates in CEM on AP unit：%

3.4.2 注意力引導(dǎo)的特征精練模塊

本節(jié)將分析注意力引導(dǎo)的特征精練模塊（AFRM）的作用。因?yàn)锳FRM 以MLF 的融合結(jié)果為輸入，AFRM 應(yīng)當(dāng)和MLF 一起使用。如表2 所示，當(dāng)在基線模型上增加MLF 和AFRM 時(shí)，模型的AP 增加了0.8 個(gè)百分點(diǎn)。進(jìn)一步地，將CEM、MLF 和AFRM 同時(shí)增加到基線模型上時(shí)，模型的AP 達(dá)到了38.9%。這表明CEM 和ML+AFRM 互補(bǔ)，可以結(jié)合起來提高檢測精度。為了評估AFRM 中3 個(gè)注意力子模塊的作用，逐漸在基線模型上添加層級子模塊、空間子模塊和通道子模塊，結(jié)果如表4 所示。AFRM-L、AFRN-S 和AFRM-C 分別表示增加層級子模塊、空間子模塊和通道子模塊后的結(jié)果。顯然，添加越多模塊，精度就會(huì)越高，這表明了3 個(gè)子模塊的有效性，并且可以有機(jī)組合來提高精度。

表4 AFRM逐漸增加各個(gè)子模塊的結(jié)果 單位：%Tab.4 Results of gradually adding sub-modules on AFRM unit：%

3.4.3 量化評估

圖8 展示了Faster R-CNN 采用原始FPN 和本文算法的檢測結(jié)果。為了公平比較，將每張圖片的閾值設(shè)置為0.5。從圖8 可以看出，F(xiàn)PN 在復(fù)雜背景下存在一些誤檢；相反，本文算法在多感受野和注意力機(jī)制的作用下緩解了這一問題，在復(fù)雜場景下，通過提取豐富上下文信息來幫助區(qū)分物體。

圖8 本文算法與基線算法的檢測結(jié)果對比Fig.8 Comparison of detection results of the proposed algorithm and baseline

3.4.4 時(shí)間與復(fù)雜度評估

訓(xùn)練時(shí)間上，在NVIDIA 2080Ti GPU 上，以ResNet-50 為骨干網(wǎng)，訓(xùn)練周期為12 個(gè)周期時(shí)，本文算法訓(xùn)練需要31 h。

表5 展示了本文算法和FPN 在模型規(guī)模、精度、運(yùn)算量和幀率上的比較，本文算法在有限的運(yùn)算量、模型復(fù)雜度增長和推理時(shí)間增長情況下，精度提升明顯。

表5 檢測結(jié)果、模型復(fù)雜度和幀率對比Tab.5 Comparison of detection results，model complexity and frame rate

4 結(jié)語

為了更有效地獲取上下文信息，強(qiáng)調(diào)特征融合時(shí)對不同尺度特征圖的關(guān)注，以及去除融合后的冗余信息，本文提出了一種基于注意力機(jī)制的特征金字塔網(wǎng)絡(luò)。針對上下文信息獲取不合理問題，提出CEM 在不改變分辨率情況下獲取豐富的上下文信息；為了改善特征圖融合時(shí)忽略了不同尺度特征圖重要性的問題，提出了MLF；為了進(jìn)一步精練融合后的特征圖并去除冗余信息，提出了AFRM。實(shí)驗(yàn)結(jié)果表明本文方法在MS COCO 2017 數(shù)據(jù)集上表現(xiàn)良好。

同時(shí)也存在一些不足：本文提出的特征金字塔的泛化性還有待進(jìn)一步探索，且模型基于FPN 改進(jìn)，后續(xù)研究將嘗試設(shè)計(jì)新的結(jié)構(gòu)并考慮把所提方法應(yīng)用到其他視覺領(lǐng)域。