增強(qiáng)小目標(biāo)檢測性能的通道自注意力機(jī)制算法研究

尹 芹，方 暉，王金東，王 侃，晏天文，霍智勇

(1.中興通訊股份有限公司多媒體視訊產(chǎn)品部，江蘇 南京 210000 2.南京郵電大學(xué)通信與信息工程學(xué)院，江蘇 南京 210003)

由于注意力機(jī)制有助于提高小目標(biāo)檢測網(wǎng)絡(luò)的特征表達(dá)，即關(guān)注本質(zhì)特征，抑制不必要的特征，卷積塊整合注意力機(jī)制可以有效提高圖像分類、目標(biāo)檢測和實(shí)例分割等計算機(jī)視覺任務(wù)的性能［1-4］。在基于空間注意力機(jī)制的檢測算法中，由于小物體邊界框面積與圖像面積之比（Ratio of Bounding Box Area to Image Area，RBI）在 0.08%～0.58%之間，邊緣特征模糊甚至缺失，分辨率和可利用特征信息有限，接連的多層下采樣卷積使得小目標(biāo)特征信息丟失，導(dǎo)致基于空間注意力機(jī)制［5-9］目標(biāo)檢測算法性能有限。例如CoupleNet［10］將空間注意力機(jī)制用于位置特征信息的提取，許騰等［11］將Darknet-53中的第2個殘差塊輸出的特征圖用混合空洞卷積處理后，與下采樣特征圖相融合成新的注意力特征。R-FCN＋＋網(wǎng)絡(luò)模型［12］引入了全局上下文空間注意力模塊，使用了大且可分離的卷積核提升了網(wǎng)絡(luò)分類能力。Hu等［13］提出了結(jié)構(gòu)推理網(wǎng)絡(luò)，建模單個圖像中的場景上下文信息和對象的依賴關(guān)系，并利用上下文空間注意力機(jī)制。這些算法使用空間注意力機(jī)制將所有位置上的特征聚集在一起來強(qiáng)化原有特征。

在基于通道注意力機(jī)制方面，之前一些研究低秩近似的工作［14］認(rèn)為卷積層輸出的特征在通道維度方面是存在冗余的，通道維度的縮減不會明顯影響特征表達(dá)能力。例如把每個輸出通道對應(yīng)的卷積核鋪成一個ci×k2大小的矩陣，那么矩陣的秩不會超過k2，代表其中存在很多的卷積核是近似線性相關(guān)的。 例如在 GCNet［15］和 CBAM［16］等研究中，將空間注意力和通道注意力整合到一個模塊中，但對小目標(biāo)和大中型目標(biāo)計算均值平均精度（Mean Average Precision，mAP）時，結(jié)果存在很大的差距。ShuffleNet雖然使用 channelshuffle［14］算子實(shí)現(xiàn)兩個分支之間的信息融合，但計算復(fù)雜度高。

將兩種注意力機(jī)制對小目標(biāo)檢測的性能和網(wǎng)絡(luò)參數(shù)數(shù)量進(jìn)行對比，如圖 1所示。 ECANet［17］與SANet［18］在不增加網(wǎng)絡(luò)參數(shù)的情況下使用通道注意力，對比 ResNet網(wǎng)絡(luò) mAP提升 1%～2%。而CMBA［8］和 SKNet［19］使用通道注意力與空間注意力結(jié)合的方法，雖然提高了網(wǎng)絡(luò)的分類性能，但相較于使用通道注意力機(jī)制，mAP下降了0.5%～1%。為了公平比較注意力機(jī)制對小目標(biāo)檢測的影響，這里都使用 FasterRCNN［20］目標(biāo)檢測框架，并采用ResNet-50［21］作為網(wǎng)絡(luò)骨干。

圖1 注意力機(jī)制對小目標(biāo)檢測的性能影響和網(wǎng)絡(luò)參數(shù)量的對比圖

因此，為了捕獲微小物體的位置和感知其全局空間結(jié)構(gòu)，在不增加計算復(fù)雜度的前提下，提出一種針對深度卷積神經(jīng)網(wǎng)絡(luò)更高效的通道自注意力機(jī)制，通過將網(wǎng)絡(luò)特征張量壓縮，平均空間上所有點(diǎn)的信息，使用自注意力機(jī)制有效地捕獲了跨通道的相關(guān)性，對含有小目標(biāo)特征信息通道加權(quán)，從而實(shí)現(xiàn)對小目標(biāo)檢測能力的增強(qiáng)。

1 算法設(shè)計

通過對 SENet［22］中的通道注意力模塊（即SE塊）在小目標(biāo)檢測存在問題的研究，分析降維和跨通道交互作用的影響，提出通道自注意力CSA模塊。該模塊將輸入特征映射壓縮，將自注意力機(jī)制用于特征通道中，對所有特征進(jìn)行優(yōu)化加權(quán)。

1.1 SENet通道注意力機(jī)制分析

設(shè)一個卷積塊的輸出為X∈RC×H×W，其中C、H、W分別表示通道數(shù)、空間高度和寬度。因此，SE塊中通道的權(quán)值ω可以計算為

式中σ為sigmoid激活函數(shù)，嵌入全局信息通過使用全局平均池化g（x）生成，通道注意力參數(shù)生成的函數(shù)F｛w1，w2｝可以計算為

1.2 通道自注意力機(jī)制

1.2.1 通道自注意力壓縮提取過程

CSA模塊的總體架構(gòu)如圖2所示。

圖2 CSA模塊的總體架構(gòu)圖

CSA模塊為了利用通道依賴性，首先關(guān)注網(wǎng)絡(luò)輸出中每個通道的信號特性。網(wǎng)絡(luò)的卷積核都有一個有效的局部感受野，因此每個特征采集都不能獲得這個區(qū)域之外的上下文信息。為了解決這個問題，通過使用全局平均池化來獲得通道統(tǒng)計信息。對于給定的輸入特征X∈ RC×H×W，其中C、H、W分別表示通道數(shù)、空間高度和寬度，CSA首先沿著通道維數(shù)將X全局平均池化壓縮成x∈ R1×C，x＝［x1，…，xC］，其中特征xi在訓(xùn)練過程中逐漸捕獲特定的特征響應(yīng)。

全局平均池化層的輸出可以被解釋為局部描述符的集合，這些局部描述符的統(tǒng)計信息可以表達(dá)整個圖像。雖然SE中的降維可以降低模型的復(fù)雜度，但它通過壓縮激勵兩階段的方式破壞了通道與其權(quán)重之間的直接對應(yīng)關(guān)系，因此使用兩個卷積核大小為k＝r的標(biāo)準(zhǔn)卷積和自注意力機(jī)制，CSA模塊建立了通道與其權(quán)重之間的直接聯(lián)系。

1.2.2 通道自注意力模型

為了利用壓縮操作中聚合的信息，實(shí)現(xiàn)完全捕獲通道之間的依賴關(guān)系，CSA選擇采用標(biāo)準(zhǔn)卷積的方式，通過卷積和全局平均池化，使用自注意力的方式學(xué)習(xí)通道之間的非線性交互關(guān)系；同時CSA將通道自適應(yīng)權(quán)重和給定的輸入特征X∈RC×H×W相乘，通過對輸入特征通道維度的加權(quán)增強(qiáng)多個通道，學(xué)習(xí)非互斥關(guān)系。

CSA模塊通過自注意力模塊為每個特征生成相應(yīng)的權(quán)重系數(shù)。如圖2所示，在每個注意力單元開始時，X的輸入沿著通道維數(shù)分為3個分支，即xq，xk，xv∈R1×C。xk和xq產(chǎn)生一個通道自相關(guān)的注意力特征圖，而另一分支xv與自相關(guān)的注意力特征圖生成一個通道注意力權(quán)重，所以該模塊可以專注于圖像的語義信息。雖然捕獲通道依賴關(guān)系的一種方法是利用SE塊，但是SE塊對權(quán)值進(jìn)行降維和升維操作破壞了權(quán)重對通道的直接對應(yīng)關(guān)系，因此采用了一種替代的優(yōu)化方法。

首先，CSA塊中通道的權(quán)重計算公式如式（3）所示。

式中：σ為sigmoid激活函數(shù)，F(xiàn)為卷積運(yùn)算。

接著，為了建立更有效的通道相關(guān)性，提高小目標(biāo)檢測的性能，如圖2所示，CSA模塊通過全局平均池化獲得全局信息后，使用3個卷積核大小為k＝1的標(biāo)準(zhǔn)卷積層xq，xk，xv。 SE注意力機(jī)制的降維雖然可以降低模型的復(fù)雜度，但破壞了通道與其權(quán)值的直接對應(yīng)關(guān)系。因此提取特征是用兩個取不同卷積核大小的一維卷積來實(shí)現(xiàn)。

式中：q，k，v分別表示xq，xk，xv的歸一化權(quán)重；σ為激活函數(shù)sigmoid；δ為激活函數(shù)ReLU；W1和W2為兩個一維卷積層。CSA模塊首先將xq，xk通過點(diǎn)積的方式獲得通道自相關(guān)權(quán)重矩陣XT，如式（5）所示。

為了防止點(diǎn)積出現(xiàn)尺度爆炸，使用dk進(jìn)行尺度縮放，接著使用softmax激活函數(shù)歸一化權(quán)重，然后按照式（6）將獲得通道自相關(guān)權(quán)重矩陣XT和xv點(diǎn)積獲得通道自適應(yīng)權(quán)重Xs。

最后為了捕獲通道的遠(yuǎn)距離依賴關(guān)系，獲得有效的小目標(biāo)語義特征表示，將通道自適應(yīng)權(quán)重Xs和給定的輸入特征X∈RC×H×W相乘。

式中Xc為最終建立通道相關(guān)性的特征表達(dá)。

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)方法使用PyTorch和Keras來實(shí)現(xiàn)所有的實(shí)驗(yàn)。在訓(xùn)練過程中，使用標(biāo)準(zhǔn)的衰減和動量為0.9的隨機(jī)最速下降（Stochastic Gradient Descent，SGD）優(yōu)化器來訓(xùn)練所有的模型，權(quán)重衰減值設(shè)置為4×105，初始學(xué)習(xí)率為0.05。實(shí)驗(yàn)使用1個NVIDIA GPU進(jìn)行訓(xùn)練，批處理大小設(shè)置為2。不作額外聲明，取ResNet類網(wǎng)絡(luò)作為實(shí)驗(yàn)基線和訓(xùn)練模型。實(shí)驗(yàn)使用包含有20個類別的PASCAL VOC數(shù)據(jù)集訓(xùn)練模型，將批次大小設(shè)置為2，并使用同步批歸一化。使用余弦學(xué)習(xí)計劃，初始學(xué)習(xí)率為0.01。由于PASCAL VOC2007本身不是小目標(biāo)數(shù)據(jù)集，為了驗(yàn)證CSA小目標(biāo)檢測性能，實(shí)驗(yàn)從PASCAL VOC2007測試集和驗(yàn)證集中篩選出物體邊界框面積與圖像面積之比RBI在0.08%～0.58%之間，面積小于 32×32（像素）的物體作為小目標(biāo)數(shù)據(jù)集作為測試集，進(jìn)行隨機(jī)測試。

2.2 通道自注意力機(jī)制用于小目標(biāo)檢測網(wǎng)絡(luò)性能對比

本文在不同的目標(biāo)檢測網(wǎng)絡(luò)上應(yīng)用通道自注意力機(jī)制，在PASCAL VOC2007的驗(yàn)證集下進(jìn)行了性能對比，結(jié)果如表1所示，從mAP值可以明顯看出，在ResNet、mobileNet和 EfficientNet中加入 CSA注意力模塊顯著提高了小目標(biāo)檢測精度。

表1 基于目標(biāo)檢測算法CSA性能對比

2.3 Retinanet網(wǎng)絡(luò)下注意力機(jī)制性能對比實(shí)驗(yàn)

本文提出的通道自注意力機(jī)制和其他注意力機(jī)制性能對比結(jié)果如表2所示。采用CSA注意力機(jī)制的RetinaNet的 mAP值比原始RetinaNet的mAP值高3.11個百分點(diǎn)。與SE注意力機(jī)制和CBAM等其他注意力機(jī)制相比，CSA注意力機(jī)制將目標(biāo)檢測算法性能提升0.1～0.2個百分點(diǎn)?？梢悦黠@看出，在ResNet中加入CSA注意力顯著提高了檢測結(jié)果。PASCAL VOC2007數(shù)據(jù)集上的檢測實(shí)驗(yàn)表明，在RetinaNet目標(biāo)檢測算法中，CSA注意力的網(wǎng)絡(luò)模型具有更好的提升檢測小目標(biāo)的能力。

表2 CSA與其他注意力性能對比（PASCAL VOC2007數(shù)據(jù)集）

表3為卷積核k對網(wǎng)絡(luò)性能的影響結(jié)果。實(shí)驗(yàn)中k分別為 1，3，5，7，9。 使用 CSA 注意力機(jī)制的MobileNetv2比原始的MobileNetv2 mAP值提高3.05個百分點(diǎn)。當(dāng)k取相對較小值時，網(wǎng)絡(luò)的性能逐漸提升；當(dāng)超過5時性能反而下降。這是因?yàn)楫?dāng)卷積核取較小值時，網(wǎng)絡(luò)卷積過程提取了完整的特征信息，而當(dāng)卷積核過大時，網(wǎng)絡(luò)卷積過程會丟失有效的特征信息。

表3 卷積核k對網(wǎng)絡(luò)性能的影響

2.4 基于YOLOv4算法訓(xùn)練損失對比

在YOLOv4算法中添加了CSA模塊前后的損失對比，如圖3所示?？v坐標(biāo)為損失值，橫坐標(biāo)為網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)。藍(lán)色和綠色的曲線為本文模型和原始YOLOv4的訓(xùn)練損失，黃色和紅色的曲線分別為本文模型和原始YOLOv4模型的驗(yàn)證損失。藍(lán)色曲線和黃色曲線在迭代次數(shù)65次后幾乎重合，說明CSA模塊使網(wǎng)絡(luò)訓(xùn)練更加容易擬合。

圖3 YOLOv4算法中添加CSA前后損失曲線下降對比

然而，隨著訓(xùn)練的進(jìn)行，藍(lán)色曲線比綠色曲線下降得更快。因此，CSA權(quán)重趨向于信息更豐富的權(quán)重，這也是使用CSA機(jī)制的YOLOv4獲得更好性能的原因。

在本實(shí)驗(yàn)中，模型在COCO數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，在PASCAL VOC數(shù)據(jù)集上進(jìn)行微調(diào)，只需要幾十個迭代就可以使訓(xùn)練收斂。訓(xùn)練分為兩個階段。在第一階段，骨干網(wǎng)絡(luò)被凍結(jié)，權(quán)重網(wǎng)絡(luò)只有在conv 52層之后才會更新；在第二階段，整個網(wǎng)絡(luò)進(jìn)行更新。

實(shí)驗(yàn)將輸入圖像的大小縮放成不同大小比例，比如320×320和352×352。在評估階段，將輸入圖像的大小縮放為544×544。如表 4所示，與帶有CSA的模型比YOLOV4性能提升近2個百分點(diǎn)，從幀率看推理時間增加很少。

表4 基于目標(biāo)檢測算法YOLOV4性能對比

2.5 注意力特征可視化

為了驗(yàn)證CSA模塊提高小目標(biāo)語義特征表示的有效性，使用PASCAL VOC2007作為測試集，對ResNet-50網(wǎng)絡(luò)添加CSA模塊前后注意力特征圖進(jìn)行對比。選取了4張圖像作為樣本，使用GradCAM進(jìn)行特征注意力熱力圖可視化。如圖4所示，圖4（a）為ResNet-50在分類性能最佳的“l(fā)ayer4.2”處的熱力圖，圖 4（b）為添加 CSA模塊后在“l(fā)ayer4.2”處的熱力圖。由圖中可以看出，添加了CSA模塊允許分類模型關(guān)注更多相關(guān)區(qū)域和更多的對象細(xì)節(jié)，建立通道間相關(guān)性，自適應(yīng)地重新優(yōu)化特征通道的響應(yīng)，提升了小物體遠(yuǎn)距離上下文信息的捕獲能力。這意味著CSA模塊可以有效提高分類精度，增強(qiáng)了網(wǎng)絡(luò)的小目標(biāo)檢測能力。

圖4 ResNet-50網(wǎng)絡(luò)添加CSA熱力圖可視化

3 結(jié)束語

本文提出了一個高效的通道自注意力模塊。該模塊對通道域采用自注意力機(jī)制來有效地建立通道相關(guān)性，自適應(yīng)地重新優(yōu)化通道方面的特征響應(yīng)。實(shí)驗(yàn)結(jié)果表明，CSA塊是一個即插即用模塊，可以改善小目標(biāo)檢測網(wǎng)絡(luò)的性能，包括廣泛使用的ResNet類網(wǎng)絡(luò)和輕量級的mobileNetV2網(wǎng)絡(luò)。在未來，將把CSA模塊應(yīng)用到更多的多層預(yù)測網(wǎng)絡(luò)架構(gòu)中，并進(jìn)一步研究CSA與空間注意模塊的結(jié)合。