基于難易樣本平衡因子的遙感圖像目標(biāo)檢測(cè)

黃 聰, 楊 垚, 王華軍, 李忠玉,趙金泉, 馬 瑜, 萬 軍

(成都理工大學(xué) a.地球物理學(xué)院,b.地球勘探與信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，成都 610059)

0 引言

遙感圖像目標(biāo)檢測(cè)作為遙感圖像處理領(lǐng)域中的一個(gè)重要分支，近些年來得到了研究者們的廣泛關(guān)注。相對(duì)于自然場(chǎng)景下的圖像，光學(xué)遙感圖像具有視野范圍大，目標(biāo)與背景對(duì)比度低、目標(biāo)較小且密集等特點(diǎn)，這些特點(diǎn)進(jìn)一步增加了目標(biāo)檢測(cè)的難度[1]。準(zhǔn)確高效地檢測(cè)出遙感圖像中感興趣目標(biāo)，已經(jīng)成為了智能化處理遙感圖像信息的關(guān)鍵問題之一。早期的遙感圖像目標(biāo)檢測(cè)，主要是使用傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)并結(jié)合遙感圖像的表層信息(如紋理、幾何特征等)進(jìn)行目標(biāo)檢測(cè)[2,4]。對(duì)于不同類別的檢測(cè)目標(biāo)，研究者基于大量的先驗(yàn)知識(shí)人工設(shè)計(jì)出各種特征表示，主要有梯度直方圖特征、尺度不變特征變換和Gabor特征等[5,13]，然而人工設(shè)計(jì)的特征對(duì)于多樣性的變化沒有很好的魯棒性，而且傳統(tǒng)的機(jī)器學(xué)習(xí)方法(如SVM、Adaboost等)算法具有特征學(xué)習(xí)不足、時(shí)間復(fù)雜度高等缺陷，導(dǎo)致目標(biāo)檢測(cè)精度較低，不能很好地滿足實(shí)際需求[18]。

如今，深度卷積神經(jīng)網(wǎng)絡(luò)由于能夠自動(dòng)地學(xué)習(xí)到更深層次的特征，在圖像的分類和檢測(cè)等領(lǐng)域獲得的了廣泛地應(yīng)用。目前主流的目標(biāo)檢測(cè)模型主要分為兩類：①以Faster R-CNN為代表的two-stage目標(biāo)檢測(cè)算法，首先通過提取機(jī)制來定義感興趣區(qū)域，然后這些感興趣區(qū)域由檢測(cè)網(wǎng)絡(luò)進(jìn)一步處理獲得檢測(cè)結(jié)果[16-17]；②以YOLOv3為代表的one-stage目標(biāo)檢測(cè)算法，不需要經(jīng)過區(qū)域提取層直接從錨框來預(yù)測(cè)結(jié)果[3]。相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法其表征能力更強(qiáng)，學(xué)習(xí)到的特征更豐富，能夠適應(yīng)各種復(fù)雜多樣的場(chǎng)景，檢測(cè)精度也得到了很大地提高。

筆者主要貢獻(xiàn)是將YOLOv3運(yùn)用到遙感圖像目標(biāo)檢測(cè)中，為了適應(yīng)遙感圖像背景復(fù)雜、感興趣目標(biāo)小等特點(diǎn)，在檢測(cè)網(wǎng)絡(luò)中引入難易樣本平衡因子，進(jìn)一步平衡簡(jiǎn)單樣本和難例樣本的損失權(quán)重，從而提升了模型的檢測(cè)性能。

1 相關(guān)工作

在目標(biāo)檢測(cè)領(lǐng)域，不平衡問題越來越得到了人們的關(guān)注，有效地處理不平衡問題能夠進(jìn)一步提升檢測(cè)器的性能。目前，不平衡問題主要分為四類：①類別不平衡；②尺度不平衡；③空間不平衡；④對(duì)象不平衡[14]。對(duì)于類別不平衡，主要的研究方向分為正負(fù)樣本之間的不平衡和多個(gè)正樣本之間的不平衡。為了解決正負(fù)樣本不平衡的問題，近年來研究人員提出了一系列有效的理論和方法。其中最為簡(jiǎn)單有效的方法，是直接在數(shù)據(jù)集中進(jìn)行各種剪裁和融合操作來增強(qiáng)數(shù)據(jù)集從而達(dá)到樣本平衡，如Dwibedi等人直接對(duì)圖片中的目標(biāo)進(jìn)行隨機(jī)裁剪[10]。硬采樣方法作為解決目標(biāo)檢測(cè)中不平衡問題的常用方法，它主要是通過從圖像數(shù)據(jù)集合中，選取一個(gè)特定正負(fù)樣本比例的子集來消除樣本不平衡所帶來的影響。例如在Faster R-CNN檢測(cè)模型中，分別從所有的正負(fù)錨框集合中隨機(jī)選取了128個(gè)正負(fù)錨框樣本用來訓(xùn)練RPN網(wǎng)絡(luò)[8]。不同于隨機(jī)采樣的方式，在線難例樣本挖掘作為另一種硬采樣方法，它主要是從含有大量簡(jiǎn)單樣本的數(shù)據(jù)集中自動(dòng)地選取其中的難例樣本進(jìn)行訓(xùn)練，從而提高檢測(cè)器的性能[6]。針對(duì)硬采樣方法只選取部分樣本進(jìn)行模型訓(xùn)練所帶來的不足，軟采樣方法主要是通過整個(gè)數(shù)據(jù)集中每個(gè)樣本在訓(xùn)練過程中相對(duì)重要程度來調(diào)整其對(duì)模型參數(shù)更新的貢獻(xiàn)，例如在YOLO算法模型中，作者直接使用常系數(shù)來定義正負(fù)樣本的權(quán)重用于模型的訓(xùn)練更新[11-12,15]。

2 本文方法

筆者主要將YOLOv3應(yīng)用于遙感圖像目標(biāo)檢測(cè)。為了適應(yīng)遙感圖像視野范圍大、背景復(fù)雜、目標(biāo)小等特點(diǎn)，在網(wǎng)絡(luò)的損失函數(shù)中引入平衡因子來進(jìn)一步平衡不同樣本之間的損失權(quán)重以提高模型的檢測(cè)精度。

2.1 Darknet-53

YOLOv3是在YOLOv1和YOLOv2基礎(chǔ)上改進(jìn)而來的單階段檢測(cè)網(wǎng)絡(luò)。模型采用Darknet-53為主干網(wǎng)絡(luò)，網(wǎng)絡(luò)總共包含53個(gè)卷積層。表1中顯示，該網(wǎng)絡(luò)大量使用了3×3和1×1卷積，同時(shí)借鑒了殘差思想，設(shè)置多個(gè)殘差模塊來加強(qiáng)圖像特征地提取[9]。如圖1所示，每個(gè)殘差模塊包含兩個(gè)卷積層和一個(gè)殘差連接，卷積層之間使用leaky relu激活函數(shù)。通過使用殘差連接，可以有效地解決深度網(wǎng)絡(luò)退化問題。

表1 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

圖1 殘差模塊

2.2 多任務(wù)損失函數(shù)

YOLOv3中使用多任務(wù)損失函數(shù)進(jìn)行訓(xùn)練，式(1)表明損失函數(shù)可分為回歸損失Lossbox、置信度Lossconf損失和分類損失Losscls三部分[15]。

Loss=lossbox+lossconf+losscls

(1)

其中回歸損失Lossbox采用均方誤差：

(2)

置信度損失Lossconf采用二值交叉熵誤差：

(3)

分類損失Losscls采用二值交叉熵誤差：

(4)

2.3 難易平衡因子

在YOLOv3多任務(wù)損失函數(shù)中，不同類別樣本被賦予了相同的損失權(quán)重，而數(shù)據(jù)集中不同類別數(shù)量差異很大，使得最終的損失函數(shù)由部分類別樣本主導(dǎo)，不利于網(wǎng)絡(luò)模型的學(xué)習(xí)和訓(xùn)練。為了解決YOLOv3存在的問題，在網(wǎng)絡(luò)的損失函數(shù)中引入難易平衡因子能夠進(jìn)一步提高檢測(cè)模型的性能[7]。我們定義難易平衡因子Φ如下：

Φ(θ)=-α(1-θ)γ

(5)

其中θ定義如下：

(6)

(7)

(8)

在多任務(wù)損失函數(shù)中引入難易平衡因子后，能夠提高算法模型對(duì)數(shù)據(jù)集的表達(dá)能力，有利于提高模型的檢測(cè)精度。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集和評(píng)估指標(biāo)

這里所有的實(shí)驗(yàn)都是基于公開的遙感數(shù)據(jù)集RSOD-Dataset，該數(shù)據(jù)集總共包含四個(gè)類別，分別為飛機(jī)、油罐、立交橋和操場(chǎng)。由圖2可以看到，對(duì)于飛機(jī)類別，目標(biāo)尺度相對(duì)圖片較小且多為連續(xù)密集排列；而對(duì)于立交橋類別，其圖片背景相對(duì)復(fù)雜且目標(biāo)沒有明顯的輪廓。因此，這兩類目標(biāo)的檢測(cè)難度一般要大于油罐和操場(chǎng)。對(duì)于評(píng)估指標(biāo)，我們使用平均精度AP50、AP75均值平均精度mAP和簡(jiǎn)單kappa系數(shù)來評(píng)估模型對(duì)于單個(gè)目標(biāo)和總體的檢測(cè)性能。

圖2 檢測(cè)示例

3.2 實(shí)現(xiàn)細(xì)節(jié)

筆者使用Ubuntu20.04操作系統(tǒng)，PyTorch1.6.0深度學(xué)習(xí)框架和NvidiaGTX2080Ti 11GB來訓(xùn)練和測(cè)試算法模型，網(wǎng)絡(luò)模型的學(xué)習(xí)率設(shè)置為0.001，批量大小為6，迭代周期為120，錨框數(shù)量為12個(gè)，錨框的寬高尺度通過在數(shù)據(jù)集上使用K均值聚類算法獲得，難易平衡因子中的α參數(shù)設(shè)置為0.75，γ為2，其余的超參數(shù)設(shè)置不變。

3.3 主要結(jié)果

為了驗(yàn)證本文改進(jìn)方法的有效性，對(duì)YOLOv3檢測(cè)模型和本文方法進(jìn)行了一組對(duì)比消融實(shí)驗(yàn)。表2是兩個(gè)算法模型在遙感數(shù)據(jù)集RSOD-Dataset上的平均檢測(cè)結(jié)果，從表2中對(duì)比可以看出，當(dāng)IOU=0.5時(shí)，YOLOv3算法模型的均值平均精度mAP為69.12%，kappa系數(shù)為0.50；而改進(jìn)后的YOLOv3算法模型的均值平均精度mAP和kappa系數(shù)則分別提高到了75.53%和0.57，尤其是對(duì)于尺度較小的飛機(jī)類別和背景較復(fù)雜的立交橋類別，兩者的檢測(cè)精度分別有8.19%和15.12%的提升；當(dāng)IOU=0.75時(shí)，相對(duì)于YOLOv3，本文改進(jìn)方法的均值平均精度和kappa系數(shù)分別提高了14.07%和0.12，證明了本文方法更適用于小尺度和復(fù)雜背景的目標(biāo)檢測(cè)。

表2 算法在RSOD-Dataset數(shù)據(jù)集上的平均檢測(cè)率對(duì)比

4 結(jié)論

針對(duì)遙感圖像視野范圍大、背景復(fù)雜、目標(biāo)小等特點(diǎn)導(dǎo)致的低精度和低效率問題,筆者在YOLOv3中引入了難易平衡因子來進(jìn)一步提升模型對(duì)遙感圖像的檢測(cè)性能。通過消融實(shí)驗(yàn)結(jié)果表明，引入該平衡因子后的檢測(cè)模型在數(shù)據(jù)集上的平均檢測(cè)精度達(dá)到75.53%，優(yōu)于原YOLOv3檢測(cè)模型，尤其是對(duì)于尺度較小的飛機(jī)類別和復(fù)雜背景的立交橋類別，檢測(cè)精度有了顯著提高，證明了本文方法對(duì)YOLOv3的改進(jìn)能夠更加適用于遙感圖像目標(biāo)檢測(cè)任務(wù)。在未來的工作中，將會(huì)繼續(xù)研究如何提升目標(biāo)檢測(cè)算法對(duì)于難例樣本的檢測(cè)性能，從而進(jìn)一步改進(jìn)本文的方法，促進(jìn)遙感圖像目標(biāo)檢測(cè)與深度卷積神經(jīng)網(wǎng)絡(luò)的融合應(yīng)用。