基于改進(jìn)YOLOv3的遙感小目標(biāo)檢測(cè)網(wǎng)絡(luò)

陳成琳,鮑 春,曹 杰,郝 群

(1. 北京理工大學(xué)光電學(xué)院,北京 100081;2. 北京理工大學(xué)長(zhǎng)三角研究院(嘉興),浙江 嘉興 314003)

1 引言

隨著衛(wèi)星和航空攝影技術(shù)的成熟,遙感圖像檢測(cè)在城市規(guī)劃、智能監(jiān)測(cè)、精準(zhǔn)農(nóng)業(yè)等民用和軍事領(lǐng)域發(fā)揮著越來(lái)越重要的作用。 在這種需求的推動(dòng)下,近年來(lái)人們?cè)诠鈱W(xué)遙感圖像目標(biāo)檢測(cè)方面做了大量的研究。眾所周知,高質(zhì)量、大規(guī)模的數(shù)據(jù)集對(duì)于訓(xùn)練基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法具有重要意義。目前,通用的目標(biāo)檢測(cè)器已經(jīng)比較成熟,一些主流的單階段、雙階段及多階段檢測(cè)算法對(duì)大、中目標(biāo)有著較好的性能,但對(duì)小目標(biāo)的檢測(cè)仍存在較大的發(fā)展空間。光學(xué)可見光遙感圖像一般是從衛(wèi)星或者航空攝影采集得到,受其成像機(jī)制的影響,采集的圖像往往具有如下特點(diǎn)[1]：①遙感圖像視野比較廣闊,使得背景復(fù)雜度高,且采用俯視拍攝,目標(biāo)的方向不確定。②遙感圖像的拍攝高度從幾百米到近萬(wàn)米不等,且地面目標(biāo)也大小不一,使得目標(biāo)具有尺度多樣性。③遙感圖像中目標(biāo)普遍較小且目標(biāo)分布不均勻。遙感圖像自身的這些特性使得檢測(cè)難度大大增加。

小目標(biāo)本身尺寸較小,經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)后,目標(biāo)的特征信息與位置信息逐漸丟失,在深層特征圖中小目標(biāo)檢測(cè)困難,經(jīng)典的Faster R-CNN[2]就是利用了網(wǎng)絡(luò)的最后一層進(jìn)行預(yù)測(cè)。Liu等[3]提取不同層次的特征進(jìn)行預(yù)測(cè),利用淺層特征對(duì)小目標(biāo)進(jìn)行檢測(cè),但該方法沒有充分融合不同尺度的特征,對(duì)淺層信息的使用不夠充分。通過多尺度學(xué)習(xí),可以將目標(biāo)深淺信息融合,進(jìn)一步提升小目標(biāo)檢測(cè)性能。特征金字塔網(wǎng)絡(luò)FPN[4](Feature Pyramid Networks)是最常見的一種多尺度網(wǎng)絡(luò),它將不同尺度的特征圖與上采樣之后的特征圖融合之后的結(jié)果來(lái)做預(yù)測(cè)。Kong等[5]提出了一種跳層特征提取網(wǎng)絡(luò),有效融合了高層語(yǔ)義信息和底層高分辨率信息。這種跳層特征提取是多尺度提取特征方式的一種,現(xiàn)在已經(jīng)成為小目標(biāo)檢測(cè)的一種常規(guī)手段。Liu等[6]在不同分支的卷積層上加入不同尺寸與膨脹率的空洞卷積以融合不同特征,能夠在不增加額外參數(shù)和計(jì)算量的情況下提高特征分辨率和擴(kuò)大感受野,提高了對(duì)小目標(biāo)檢測(cè)的魯棒性。通過結(jié)合生成對(duì)抗網(wǎng)絡(luò)也可以提升小目標(biāo)檢測(cè)性能。Li等[7]提出的感知生成對(duì)抗網(wǎng)絡(luò)PGAN,將低分辨率的特征變成高分辨率的特征,以提高對(duì)小目標(biāo)的特征表示。類似的工作還有SOD-MTGAN[8],其將小目標(biāo)的模糊圖像生成具有詳細(xì)信息的高分辨率圖像,為使得生成器恢復(fù)更多細(xì)節(jié)以便于檢測(cè)。數(shù)據(jù)增強(qiáng)也是提升小目標(biāo)檢測(cè)的最簡(jiǎn)單有效的方法之一,具體增強(qiáng)方式有隨機(jī)裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)、縮放以及CutOut[9]、MixUp[10]、Mosaic[11]等。Kisantal等[12]提出了一種復(fù)制粘貼的方法,通過在圖像中多次復(fù)制粘貼小目標(biāo)的方式來(lái)增加小目標(biāo)的訓(xùn)練樣本數(shù),從而提升了小目標(biāo)的檢測(cè)性能。除此之外,還有一些研究者通過改變模型的訓(xùn)練方式來(lái)提高小目標(biāo)的檢測(cè)精度。Singh等[13]提出了圖像金字塔的尺寸歸一化算法SNIP,借鑒多尺度訓(xùn)練的思想,針對(duì)大、中、小分辨率特征圖分別提取小、中、大目標(biāo)候選框,對(duì)小目標(biāo)檢測(cè)非常有效,但其訓(xùn)練速度很慢。Chen等[14]設(shè)計(jì)了一種基于小目標(biāo)Loss反饋驅(qū)動(dòng)機(jī)制的圖像拼接法來(lái)提升小目標(biāo)檢測(cè)。

為提高遙感小目標(biāo)識(shí)別精度,本文基于YOLOv3[15]模型,首先增加了一層預(yù)測(cè)層并優(yōu)化了loss來(lái)針對(duì)小目標(biāo)檢測(cè)。其次引入了注意力機(jī)制,來(lái)區(qū)分背景和目標(biāo)。最后在DIOR[16]和 NWPU VHR-10[17]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,該方法有效提升了對(duì)小目標(biāo)的檢測(cè)精度,且模型滿足實(shí)時(shí)性的要求。

2 改進(jìn)的 YOLOv3 模型

2.1 特征提取

目標(biāo)的特征表示一般由骨干網(wǎng)絡(luò)提供,其特征表示的優(yōu)劣對(duì)檢測(cè)精度有至關(guān)重要的影響。然而,遙感圖像中小目標(biāo)居多,考慮到小對(duì)象的特異性,直接應(yīng)用原始骨干網(wǎng)絡(luò)來(lái)提取小對(duì)象的特征并不是最優(yōu)的。原始網(wǎng)絡(luò)關(guān)注于通用目標(biāo),會(huì)產(chǎn)生一個(gè)較大感受野,這使得小物體容易受到感受域內(nèi)周圍背景雜波的干擾。小物體特征比較簡(jiǎn)單,不需要過深的網(wǎng)絡(luò)來(lái)擬合?；诖?本文構(gòu)建了一個(gè)新的帶注意力機(jī)制的特征提取模塊AM Block(Block with Attention Module ),其能夠更好地區(qū)分目標(biāo)和背景,得到具有背景感知的目標(biāo)特征。其結(jié)構(gòu)如圖1所示。

圖1 AM Block結(jié)構(gòu)

圖1中,CBL-k-c 表示c個(gè)卷積核大小為k×k的Conv和BN、LeakyRelu 的組合體,輸入為 x,經(jīng)過一系列卷積操作后得到y(tǒng),將x和y輸入到CSAM(Channel-Spatial Attention Module)可以得到輸出Output。CSAM可用如下公式表示

(1)

其中⊕表示元素加,[·]表示concat連接,是張量上的操作。輸入x按照維度采樣,分別取偶數(shù)和奇數(shù)通道得到Fsample(x)[0]和Fsample(x)[1],尺度不變,通道數(shù)減半。Fsample(x)[0]和y通過元素加求和,然后和經(jīng)過注意力函數(shù)FAT(·)處理的Fsample(x)[1]在通道維度上連接,得到最終的輸出。

輸入特征圖中目標(biāo)和背景信息混合在一起,CSAM通過一個(gè)分支將采樣信息直接合并到y(tǒng)上,使這些特征更加強(qiáng)調(diào)背景感知;另一分支首先對(duì)每個(gè)通道內(nèi)的信息做全局平均池化,然后通過全連接層將特征維度降低到輸入的1/16,經(jīng)Relu 激活后再通過一個(gè)全連接層恢復(fù)原先的維度。將通過Sigmoid激活函數(shù)得到的結(jié)果自適應(yīng)地對(duì)原始特征的通道權(quán)重進(jìn)行標(biāo)定來(lái)提升有用的特征。將加權(quán)后的特征通過一個(gè)卷積后對(duì)特征圖上的每一個(gè)像素進(jìn)行激活,并與前面通道加權(quán)后的特征相乘,得到經(jīng)過雙重注意力調(diào)整的特征圖。該特征圖的所有通道和每一個(gè)通道都可以學(xué)習(xí)到一個(gè)權(quán)重,用來(lái)指導(dǎo)混合特征,以區(qū)分目標(biāo)和背景。圖2展示了本文算法和YOLOv3提取的特征圖對(duì)比示意圖,從圖中可以看出,相比于YOLOv3,改進(jìn)后的結(jié)構(gòu)能更有效的突出小目標(biāo)特征,保留一些細(xì)節(jié)信息,抑制背景噪聲。

圖2 特征可視化對(duì)比圖

2.2 檢測(cè)頭優(yōu)化

輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)得到了不同尺度的特征圖。淺層特征層目標(biāo)信息相對(duì)較充分,更加關(guān)注的是圖像細(xì)節(jié)紋理等特征;深層特征層目標(biāo)信息相對(duì)較少,更加關(guān)注比較抽象的語(yǔ)義信息。而小對(duì)象本身尺寸較小,經(jīng)過多次下采樣,特征信息逐漸丟失,使得在深層特征層中包含的目標(biāo)信息很有限。使用淺層特征層進(jìn)行預(yù)測(cè)可以有效提升對(duì)小目標(biāo)的檢測(cè)精度。網(wǎng)絡(luò)具體框架見圖3所示,其中Darknet53-A(Darknet53-Attention)是使用AM Block替換Bottleneck后的特征提取網(wǎng)絡(luò),輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)和PFN得到四層不同尺度的特征圖P2,P3,P4,P5,分別為原圖的1/4、1/8、1/16、1/32,相較于原始YOLOv3增加了P2尺度特征圖來(lái)進(jìn)一步預(yù)測(cè)小目標(biāo)。

圖3 網(wǎng)絡(luò)整體架構(gòu)

2.3 損失函數(shù)

YOLOv3損失由回歸損失、分類損失和置信度損失三部分組成,回歸部分由L2損失函數(shù)計(jì)算,其余部分由交叉熵?fù)p失函數(shù)計(jì)算得到。在目標(biāo)檢測(cè)領(lǐng)域,目標(biāo)框的四個(gè)位置不是相互獨(dú)立的,而使用L2損失函數(shù)獨(dú)立的計(jì)算四點(diǎn)位置的損失并求和得到最終的回歸損失不夠合理。而且預(yù)測(cè)框的評(píng)價(jià)指標(biāo)采用IOU(Intersection over Union),損失的計(jì)算和評(píng)價(jià)不一致。綜合考慮,引入CIOU[18](Complete IOU)來(lái)計(jì)算目標(biāo)的回歸損失。該損失函數(shù)充分考慮了框回歸的3個(gè)幾何因素(重疊區(qū)域、中心點(diǎn)距離、寬高比)。同時(shí)考慮到,小物體和大物體產(chǎn)生的損失不平衡問題,將回歸損失乘以一個(gè)2-wh的比例系數(shù)(w和h代表預(yù)測(cè)框的寬高),來(lái)增強(qiáng)對(duì)小目標(biāo)的識(shí)別。總的損失函數(shù)計(jì)算公式如下:

Loss(object)=

(2)

3 實(shí)驗(yàn)和結(jié)果分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

NWPU VHR-10數(shù)據(jù)集是僅用于研究的公開提供的10類地理空間物體檢測(cè)數(shù)據(jù)集,共包含800幅超高分辨率遙感圖像,數(shù)據(jù)集規(guī)模較小。

DIOR是一個(gè)用于光學(xué)遙感圖像目標(biāo)檢測(cè)的大規(guī)模基準(zhǔn)數(shù)據(jù)集。數(shù)據(jù)集包含23463個(gè)圖像(訓(xùn)練集、測(cè)試集分別有11725、11738張圖像)和192472個(gè)實(shí)例,涵蓋20個(gè)對(duì)象類。目標(biāo)尺度和長(zhǎng)寬比變換范圍較大。在MS COCO[19]中定義面積小于32×32的為小目標(biāo),大于92×92的為大目標(biāo),處在二者之間的為中目標(biāo)。根據(jù)這個(gè)標(biāo)準(zhǔn),統(tǒng)計(jì)DIOR數(shù)據(jù)集中大、中、小目標(biāo)占總目標(biāo)比例分別為27.7%、29.5%、42.8%,小目標(biāo)占比近一半。

本文算法統(tǒng)一圖像輸入大小為512×512,批次大小均為16,訓(xùn)練次數(shù)為200Epoch,采用SGD梯度下降方法,動(dòng)量為0.9,衰減系數(shù)為0.0005。學(xué)習(xí)率更新分兩階段。首先采用warm-up預(yù)熱學(xué)習(xí)率,用一維線性插值來(lái)進(jìn)行對(duì)每次迭代的學(xué)習(xí)率進(jìn)行更新,學(xué)習(xí)率為0.01逐漸上升到0.1,然后采用余弦衰減策略來(lái)對(duì)學(xué)習(xí)率進(jìn)行更新。使用旋轉(zhuǎn)、平移、翻轉(zhuǎn)、Mosaic進(jìn)行數(shù)據(jù)增強(qiáng)。具體實(shí)驗(yàn)在Pytorch1.7.1深度學(xué)習(xí)框架上進(jìn)行,并在GPU服務(wù)器NVIDIA RTX 3080Ti 的CUDA環(huán)境中進(jìn)行計(jì)算加速,詳細(xì)配置見表1。

3.2 衡量指標(biāo)

本文選擇 AP、mAP@0.5作為模型精度衡量指標(biāo);選擇FPS(Frame Per Second)作為模型的速度衡量指標(biāo),定義為每秒可檢測(cè)的圖像數(shù)量;選擇模型體積和參數(shù)量GFLOPs作為模型大小衡量指標(biāo)。AP是每一類目標(biāo)的檢測(cè)精度,mAP@0.5是IOU在0.5閾值下計(jì)算的各類目標(biāo)AP平均值,也是準(zhǔn)確率-召回率(PR)曲線與坐標(biāo)軸所圍成的面積(見式(3))。PR曲線以召回率(Recall, R)作為橫坐標(biāo)軸,準(zhǔn)確率(Precision, P)作為縱坐標(biāo)軸繪制而成。

(3)

其中C表示有C個(gè)類別,當(dāng)C=1時(shí),mAP=AP,準(zhǔn)確率和召回率的計(jì)算公式如下

(4)

其中TP、FP和FN分別代表預(yù)測(cè)為正的正樣本、預(yù)測(cè)為正的負(fù)樣本和預(yù)測(cè)為負(fù)的正樣本。

3.3 結(jié)果分析

圖4顯示了改進(jìn)算法在訓(xùn)練過程中網(wǎng)絡(luò)的各類損失的變化曲線。橫軸代表迭代次數(shù),縱坐標(biāo)是損失值?？梢钥闯?隨著訓(xùn)練迭代,網(wǎng)絡(luò)的損失穩(wěn)定下降,收斂過程比較穩(wěn)定。

圖4 損失變化曲線

表2比較了改進(jìn)算法和 YOLOv3 算法在NWPU VHR-10上的各類目標(biāo)精度和平均精度。從表中可以看出,改進(jìn)的YOLOv3算法中某些類別有小幅度下降,在汽車、橋、港口、籃球場(chǎng)類別有大幅度上升,平均精度mAP提高8.84%。

表2 在NWPU VHR-10的精度評(píng)估

表3比較了改進(jìn)算法和 YOLOv3 算法在DIOR數(shù)據(jù)集上的模型精度、速度、體積和參數(shù)量,可以看出改進(jìn)算法的mAP比YOLOv3 提升14%,FPS從83下降到66,體積增大5M,參數(shù)量也增加了24GFLOPs,但都在可接受的范圍,且仍然可充分滿足實(shí)時(shí)性的要求。

表3 在DIOR數(shù)據(jù)集上模型的驗(yàn)證結(jié)果

表4是不同模型在DIOR上的精度對(duì)比分析,分別對(duì)比了改進(jìn)算法和YOLOv3、SSD、FasterRCNN with FPN[16]、RetinaNet[20]的檢測(cè)精度。從實(shí)驗(yàn)數(shù)據(jù)可以看出,改進(jìn)的YOLOv3 模型在大多類目標(biāo)精度和平均精度遠(yuǎn)高于其它模型,驗(yàn)證了所改進(jìn)方法的有效性。

表4 不同模型在DIOR數(shù)據(jù)集上的精度評(píng)估

圖5展示了改進(jìn)算法在NWPU VHR-10和 DIOR數(shù)據(jù)集上的部分檢測(cè)結(jié)果。第一、二行分別為NWPU VHR-10和DIOR數(shù)據(jù)集在不同背景復(fù)雜度下不同類目標(biāo)的檢測(cè)結(jié)果可視化圖。可以看到,包含小目標(biāo)在內(nèi)的大部分目標(biāo)都可以很好地檢測(cè)到。

圖5 模型檢測(cè)結(jié)果圖

4 結(jié)論

本文提出了一種基于YOLOv3的遙感小目標(biāo)檢測(cè)模型,設(shè)計(jì)了一種新的帶注意力機(jī)制的特征提取模塊,其能夠更好的抑制背景噪聲,突出目標(biāo)特征;增加了一個(gè)檢測(cè)層且優(yōu)化了損失函數(shù),進(jìn)一步提高了對(duì)小目標(biāo)的識(shí)別精度。然而本文算法仍存在一些局限性,在選用的數(shù)據(jù)集中存在不同程度的類別不平衡問題,如何在現(xiàn)有的基礎(chǔ)上提升少樣本類別的檢測(cè)精度是下一階段的改進(jìn)和研究的目標(biāo)。