尺度敏感損失與特征融合的快速小目標檢測方法

琚長瑞，秦曉燕，袁廣林，李 豪，朱 虹

（中國人民解放軍陸軍炮兵防空兵學院計算機教研室,安徽合肥 230031）

1 引言

目標檢測是計算機視覺領域的一個重要研究分支，其目的是預測圖像中每個感興趣的實例的邊界框位置和類別標簽.目標檢測在工業(yè)、農(nóng)業(yè)、醫(yī)學和軍事等領域有著廣泛的應用前景，具有較高的研究價值.近年來，隨著深度學習技術的發(fā)展，深度神經(jīng)網(wǎng)絡框架下的目標檢測取得了重大進展［1～5］.雖然基于卷積神經(jīng)網(wǎng)絡的目標檢測器在各種具有挑戰(zhàn)性的數(shù)據(jù)庫上取得了系列的成果，但是其仍然面臨目標尺度小、數(shù)據(jù)不平衡和數(shù)據(jù)標注昂貴等諸多困難.小目標只有十幾到幾十個像素，在圖像中的信息量有限，通用檢測器對其檢測難度較大.另外，現(xiàn)有目標檢測數(shù)據(jù)集中包含小目標的圖片數(shù)量也相對較少.因此，小目標檢測一直是一個難點、熱點問題.為提升小目標的檢測效果，目前主要有多尺度建模以及數(shù)據(jù)增強兩大類方法.

多尺度方法的基本思想是利用網(wǎng)絡不同層特征檢測不同尺度的目標.基于不同尺度目標的語義特征所在特征層次的差異性，2016年Yang［6］等人提出尺度相關池化并從不同尺度的特征層中檢測目標，提升了小目標的檢測精度.基于相同的思路，劉偉［7］等人提出的SSD（Single Shot MultiBox Detector）引入了多參考和多分辨率檢測技術，利用淺層特征檢測小目標，利用深層特征檢測大的目標，其小目標檢測效果有了大的提升.針對小目標檢測，2016年Cai［8］等人提出在不同尺度特征圖上鋪設錨框（Anchor），同樣實現(xiàn)了在不同尺度的特征圖上檢測不同大小的目標.由于目標檢測任務同時需要物體的“語義和位置”特征，語義特征在深層特征圖中，因此分層預測的網(wǎng)絡結構難以兼顧小目標的語義和位置特征.針對該問題，2017年Lin［9］等人提出了特征金字塔網(wǎng)絡（Feature Pyramid Networks，F(xiàn)PN），用自頂向下的方法將深層特征圖上采樣后與淺層特征圖融合，利用融合后的特征圖做多尺度目標檢測.為了提高小目標檢測的精度，2018年，Liang［10］等人提出一種兩階段的目標檢測方法，該方法在區(qū)域建議階段，采用橫向連接的特征金字塔網(wǎng)絡，使得小目標的語義特征更加突出，同時，為小目標設計了專門的Anchor，提升了小目標檢測效果.2019年G.Ghiasi［11］等人基于神經(jīng)網(wǎng)絡搜索技術，利用強化學習自動搜索對當前任務最優(yōu)的FPN（Feature Pyramid Networks），進一步提升了小目標檢測的精度.2020年Wu［12］等人提出的多尺度正樣本訓練方法對小目標檢測效果也有一定提升.針對小目標檢測難題，在FPN的基礎上，2020年Li［13］等人提出一種提取并融合多尺度特征的目標檢測網(wǎng)絡，提高了對目標尺度變化的魯棒性.上述多尺度檢測方法雖然對小目標檢測精度有提升，但也存在網(wǎng)絡結構復雜和速度較慢等不足.解決小目標檢測問題的另一類思路是數(shù)據(jù)增強.對基于錨框（anchor-based）的目標檢測方法而言，通過增加檢測小目標的anchor數(shù)量可以達到數(shù)據(jù)增強的目的.2017年Zhang［14］等人提出的S3FD（Single Shot Scale-invariant Face Detector）通過調(diào)整候選框的生成步長產(chǎn)生更稠密的anchor增加小目標樣本數(shù)量，使得小目標得到充分訓練從而提升小目標的檢測精度.2019年Kisantal［15］等人對包含小目標的圖像進行過采樣和對小目標隨機變換后復制到新位置的方式增加小目標數(shù)量.為了解決數(shù)據(jù)集中小物體數(shù)量不足的問題，2021年Chen［16］等人使用圖像拼接技術動態(tài)地生成拼接圖像提升小目標數(shù)量，從而增強小目標的檢測精度.

綜上所述，現(xiàn)有針對小目標的檢測方法存在網(wǎng)絡結構復雜和速度較慢等不足.為了提高基于深度學習的目標檢測方法對小目標的檢測精度和速度，同時對中、大目標也有較高的檢測性能，在CenterNet［18］的啟發(fā)下，本文提出一種基于尺度敏感損失與特征融合的單階段無錨框小目標檢測方法（Scale-Sensitivity Loss and Feature Fusion Detector，SSLFF-Det）.該方法利用尺度敏感損失訓練分類熱圖，提高小目標對網(wǎng)絡模型參數(shù)學習的影響，利用反卷積和可變形卷積自上而下融合特征，獲得高分辨率、強語義的特征圖來檢測目標.在PASCAL VOC數(shù)據(jù)集上，對提出的方法進行了實驗驗證與分析，實驗結果表明：本文方法達到了預期效果，即提升了小目標檢測的精度和速度，同時對中、大目標也具有較優(yōu)的性能.

2 尺度敏感損失

目前，常用的目標檢測數(shù)據(jù)集有PASCAL VOC和MS COCO（Microsoft Common Objects in Context）.文獻［15］對MS COCO數(shù)據(jù)集進行統(tǒng)計分析發(fā)現(xiàn)：MS COCO數(shù)據(jù)集中小目標、中目標和大目標的占比分別是41.43%、34.32%和24.24%，但是只有51.82%的圖像包含小目標，包含中、大目標的圖像分別占70.07%和82.28%.雖然MS COCO數(shù)據(jù)集中小目標總數(shù)量較多，但包含小目標的圖像占比較低.本文參考MS COCO數(shù)據(jù)集對小、中、大目標的劃分標準，對PASCAL VOC數(shù)據(jù)集進行了數(shù)據(jù)統(tǒng)計，VOC 2007訓練集中小目標、中目標和大目標的占比分別為11.20%、34.49%和54.31%，包含小目標的圖像僅占12.67%，而包含中、大目標的圖像分別占39.45%和90.52%.可以看出：在PASCAL VOC數(shù)據(jù)集中，小目標的數(shù)量占比以及包含小目標的圖像數(shù)量占比均較低.PASCAL VOC中的部分圖像樣例如圖1所示，其中多數(shù)圖像只標注了中、大目標，而小目標未標注，這樣會導致小目標訓練樣本較少.在現(xiàn)實應用中，小目標標注難度大等原因也會造成小目標訓練樣本較少的情況.

圖1 PASCAL VOC數(shù)據(jù)圖像(其中黃色框為標注目標,紅色框內(nèi)是未標注的小目標)

眾所周知，目標檢測網(wǎng)絡的訓練，是隨機取一批圖像計算其中標注樣本的損失進行網(wǎng)絡參數(shù)的訓練.由于訓練數(shù)據(jù)中包含小目標的圖像較少，這會導致每一批圖像中包含的小目標樣本較少.這種尺度上的樣本不平衡使得小目標對模型訓練的影響相對中、大目標較小，導致模型對小目標的學習不充分.另外，目標在特征圖上的信息量大小與目標尺度存在正相關關系，因此小目標在特征圖上的信息較少，對模型訓練的影響也較小.上述兩個方面是導致小目標檢測精度低的重要原因.為解決難易樣本不平衡問題，何愷明等人提出Focal Loss［19］，在分類損失中加入一種與樣本難易度正相關的損失權重，有效提高了網(wǎng)絡訓練對難樣本的關注度，提升了目標檢測的性能.受此啟發(fā)，為提高小目標對模型的影響，本文提出尺度敏感損失函數(shù)用于目標檢測網(wǎng)絡的訓練，其義定義如下：

其中，Yxyc和分別表示類別熱圖中（x，y）處c類的標注值和預測值，N是標注的樣本個數(shù)，α、β為超參數(shù)，實驗中分別設置為2和4，s是與目標尺度負相關的變量.

（1）式中k1-s定義為損失權重，其中s為目標面積與圖像面積的比值，即目標的相對尺度.對于s的取值，如果一張圖像中包含多個目標，則取其中尺度最小的目標計算s的值，以保證每張包含小目標的圖像可以有較大的訓練權重，在訓練中受到更多關注.k為超參數(shù)，用來調(diào)節(jié)尺度敏感權重的大小.圖2給出了損失權重k1-s的函數(shù)圖，從圖2可以看出，s能保證k1-s的取值在1到k之間，這確保目標尺度對網(wǎng)絡訓練產(chǎn)生的影響在一定范圍.從函數(shù)性質(zhì)上看，k1-s是指數(shù)函數(shù)，它對自變量s的變化比較敏感，這使得包含不同尺度目標的損失權重產(chǎn)生差別.

圖2 尺度敏感權重函數(shù)圖像

基于上述分析，設計一批訓練數(shù)據(jù)的損失計算方法，見算法1.

算法1中，woi，j和hoi，j分別是Ibatch中第i個訓練圖像中第j個目標的寬和高；W iI和H iI分別是Ibatch中第i個訓練圖像的寬和高為第i個訓練圖像中最小目標的面積，s2i為第i個訓練圖像的面積；Ni是第i個訓練圖像中的目標數(shù).

3 反卷積與可變形卷積特征融合網(wǎng)絡

算法1一批數(shù)據(jù)損失計算方法輸入:一批訓練圖像Ibatch={I1,I2,…,IM},超參數(shù)k、α和β.輸出:Lossbatch Lossbatch=0;FOR i=1 to M s1i =min(wo i，1×hoi，1，…，wo i，j×ho i，j，…，wo i，Ni×ho i，Ni); =W I i×H I i;si=s1i/s2 i;s2i SSLi class=k1-si -1 1-Y?xyc ( )αlog()Y?xyc， Yxyc=1 Ni∑xyc■ ■ ■■■■ ■■■;( )1-Yxyc β()Y?xyc αlog( )1-Y?xyc， 其他Lossbatch=Lossbatch+SSLi class;END

現(xiàn)有文獻［6～13］表明：在特征提取網(wǎng)絡中，深層特征感受野較大，包含豐富的語義信息，淺層特征感受野較小，具有更多邊緣和紋理等細節(jié)信息.目標檢測的兩個核心組件是分類和回歸，語義信息的分類能力強，細節(jié)信息的定位能力大.小目標的語義信息在深層特征中能量小甚至消失，其細節(jié)信息主要在淺層特征中.中大目標的語義信息在深層特征中具有較高能量，其細節(jié)信息在淺層特征中更加豐富.為了提升小目標的檢測性能，根據(jù)深層和淺層特征的上述特點，本文提出一種基于反卷積與可變形卷積的特征融合模塊，其結構如圖3所示.該模塊首先對待融合特征圖f-map2進行3×3的2倍上采樣反卷積，得到與融合特征圖f-map1相同大小的特征圖；然后再通過一個可變形卷積，來緩解上采樣帶來的混疊效應和棋盤效應，并增強模型的擬合能力；最后將得到的特征圖與f-map1相加得到本模塊的融合特征圖ff-map.該模塊可以根據(jù)網(wǎng)絡深度及實際需求增加或減少，以達到最優(yōu)效果.實驗發(fā)現(xiàn)：在ResNet-18與ResNet-50上分別加入2個模塊效果較好，而ResNet-101上使用3個效果更佳.

圖3 特征融合模塊

利用提出的特征融合網(wǎng)絡模塊設計小目標檢測網(wǎng)絡，網(wǎng)絡結構如圖4所示，包括自底向上和自頂向下兩個通路.自底向上通路是骨干網(wǎng)絡用于特征提取，本文利用ResNet-50構建自底向上通路.為獲得高分辨率的特征圖，刪除了ResNet-50第一個池化層，利用其block1～block4得到尺度大小為原圖的1/2、1/4、1/8和1/16的特征圖.自頂向下通路用于特征融合，包括2個串聯(lián)的特征融合模塊，先將block4與block3的輸出特征進行融合；然后再將得到的融合特征與block2的輸出特征進行融合，從而得到高分辨率、強語義的融合特征圖用于目標檢測.網(wǎng)絡的輸出是目標類別、尺度和中心偏移量.

圖4 征融合網(wǎng)絡結構

圖5（a）給出了PASCAL VOC數(shù)據(jù)集中一張圖像，圖5（b）～（e）顯示了圖4（a）在特征融合網(wǎng)絡中block1～block4的輸出特征圖，圖5（f）是其最終融合特征圖.對比圖5（b）～（f）各特征圖可以看出：在最終融合特征圖5（f）中，小鳥的融合特征既包含了深層特征的語義信息，又具有淺層的紋理邊緣信息，大目標汽車的融合特征也同時包含深層語義信息和淺層紋理邊緣信息.

圖5 目標圖像與特征圖

4 網(wǎng)絡訓練與實現(xiàn)細節(jié)

本文用多任務損失函數(shù)訓練網(wǎng)絡，其定義如下：

其中，SSLclass是式（1）所示的尺度敏感分類損失；λsize和λoff是超參數(shù)，本文λsize取0.1，λoff取1.0；Lsize是尺度損失，其定義如式（3）所示；Loff是中心偏移損失，其定義如式（4）所示.

式（3）中，N是樣本個數(shù)，和sk分別是目標k的尺度預測值和標注值.

式（4）中，N是樣本個數(shù)，是目標k的中心偏移預測值，p是目標k的位置標注值，R是下采樣倍數(shù)，本文R=4.

網(wǎng)絡訓練時輸入圖像的大小歸一化為512×512，因此網(wǎng)絡輸出的目標類別熱圖、尺度熱圖和偏移量熱圖大小均是128×128.目標類別熱圖的通道數(shù)與數(shù)據(jù)有關，對于PASCAL VOC數(shù)據(jù)集類別熱圖的通道數(shù)是20，對于MS COCO數(shù)據(jù)集其類別通道數(shù)是80，尺度熱圖的通道數(shù)和偏移量的熱圖通道數(shù)均是2.模型的初始化權重是由ResNet-50在ImageNet上預訓練得到，并使用4張GPU對ResNet-50網(wǎng)絡進行訓練，訓練批次大小（batchsize）設置為32，共訓練100個輪次（epoch）.初始學習率設置為2.5e-4，并在第50及75個輪次分別衰減至2.5e-5及2.5e-6.

5 實驗結果與分析

5.1 實驗環(huán)境與數(shù)據(jù)集

在SYS-7048GR-TR臺式機（CPU型號為Intel Xeon（R）ES-2630v4@2.20 GHz×20，內(nèi)存為64 GB，GPU為RTX2070S 8G）上實現(xiàn)了本文方法，軟件環(huán)境是：Ubuntu 18.04、Python 3.6、torch 1.4.0、cuda10.1和cudnn7.5.為了驗證本文方法的有效性，使用PASCAL VOC數(shù)據(jù)集對本文方法進行消融實驗，并與現(xiàn)有優(yōu)秀方法進行了對比分析.

5.2 消融實驗

針對本文的兩個改進方面進行消融實驗，以驗證尺度敏感損失和特征融合兩方面對小目標檢測性能的提升作用.

5.2.1 尺度敏感損失實驗分析

首先，為驗證尺度敏感損失和不同超參數(shù)對目標檢測精度的影響，對取不同k值的本文方法進行實驗驗證與分析，實驗結果如表1所示.從表1可以看出：尺度敏感損失明顯提升了小目標的檢測精度，表明尺度敏感損失在訓練時提高了網(wǎng)絡對小目標的關注程度，有效提高了小目標對網(wǎng)絡學習的影響力.隨著k值的增加，小目標的檢測精度逐漸提升.從表1也可以看出：k值為4時，小目標的精度已經(jīng)提升不大，而中、大目標的檢測精度有一定的下降，導致總體精度下降.主要原因是當k值設置過大時，尺度敏感損失對網(wǎng)絡訓練的影響已經(jīng)超出正常范圍，對網(wǎng)絡模型的學習有負面影響，因此尺度敏感損失對目標檢測精度的提升存在上限.從表1中的實驗結果可以看出：k值設置為2時，尺度敏感損失的綜合性能最佳.

表1 不同k值的檢測結果

5.2.2 特征融合實驗分析

為驗證特征融合對小目標檢測的性能的影響，對使用不同深度ResNet的本文方法進行實驗驗證與分析，實驗結果如表2所示.從表2可以看出：對不同深度的ResNet進行特征融合后，小目標的檢測精度均有不同程度的提升，并且網(wǎng)絡越深提升效果越明顯.其中，輕量型網(wǎng)絡ResNet-18提升最小，主要原因是其下采樣倍數(shù)較低，它自身已能夠提取豐富的細節(jié)信息，因此提升效果并不明顯.ResNet-101的小目標檢測精度最低，特征融合后ResNet-101的小目標檢測精度提升最大，但是檢測速度有較大降低，這一結果表明：當網(wǎng)絡層數(shù)超過某一閾值時，網(wǎng)絡越深越不利于小目標的檢測，同時檢測速度也會明顯下降.特征融合后ResNet-50的小目標精度提升了3.4%，整體精度mAP有少許降低，但是其檢測速度仍然較快.

表2 不同深度ResNet網(wǎng)絡特征融合檢測結果

5.2.3 綜合影響實驗分析

為驗證尺度敏感損失與特征融合同時加入對小目標檢測性能的綜合影響，同時使用尺度敏感損失與特征融合網(wǎng)絡進行訓練和測試.其中尺度敏感損失k值設置為2，并采用不同深度的ResNet作為骨干網(wǎng)絡，實驗結果如表3所示.結合表1、表2與表3可以看出，當尺度敏感損失與特征融合網(wǎng)絡同時加入時，相比兩種策略分別加入，小目標檢測精度得到進一步提升，該結果表明，本文提出的兩種策略能夠協(xié)同工作，共同提升小目標檢測精度，相互之間沒有抵消及干擾.另外，兩種策略同時作用時，整體精度相比單獨采用特征融合網(wǎng)絡時有所下降，其主要原因是尺度敏感損失使得網(wǎng)絡更加關注小目標，使得中、大目標的檢測精度受到一定影響，小目標精度雖有所提升，但總體精度有少許下降，但是該影響依然處于可以接受的范圍.

表3 綜合影響實驗結果

5.3 對比實驗

5.3.1 定量實驗

該實驗將本文目標檢測方法SSLFF-Det與目前先進目標檢測方法進行性能對比分析，在相同軟硬件環(huán)境下，利用VOC 2007與VOC 2012合成數(shù)據(jù)集進行訓練、測試對比分析.為了比較的公平性，目標檢測方法均采用ResNet-50或者與之深度相近的網(wǎng)絡作為骨干網(wǎng)絡.實驗結果如表4所示.從表4結果可以看出，本文目標檢測方法SSLFF-Det對小目標的檢測最優(yōu)，在檢測速度方面，SSLFF-Det的檢測速度處于較高水平，能夠達到50FPS.

表4 本文方法與各類方法對比

5.3.2 定性實驗

圖6給出 了 本文 方法、CenterNet［18］、SSD513［7］和YOLOv4［23］對PASCAL VOC數(shù)據(jù)集中4張圖像的檢測結果，其中圖6（a）是CenterNet的檢測結果，圖6（b）為SSD513的檢測結果，圖6（c）為YOLOv4的檢測結果，圖6（d）為本文方法的檢測結果.可以看出，本文方法對小目標檢測具有更高召回率.

圖6 不同檢測方法檢測結果

6 結論

針對現(xiàn)有基于深度學習的目標檢測方法對小目標檢測的不足，本文提出一種基于尺度敏感損失與特征融合的通用快速小目標檢測方法.本文方法的主要創(chuàng)新點有兩個方面：一是提出尺度敏感分類損失，使小目標在訓練中更受關注，從而提升網(wǎng)絡對小目標的學習能力；二是在anchor-free檢測框架下加入了特征融合，從而得到融合深度語義和淺層細節(jié)的特征圖進行目標檢測.對提出的目標檢測方法進行了實驗驗證和分析，實驗結果表明：本文提出的目標檢測方法對小目標檢測效果提升明顯，且檢測速度較快.