基于改進(jìn)YOLOv3網(wǎng)絡(luò)的遙感目標(biāo)快速檢測(cè)方法

方青云，王兆魁

(清華大學(xué) 航天航空學(xué)院，北京 100084)

0 引言

近年來，伴隨著航天遙感技術(shù)的快速發(fā)展，高分辨率大尺度遙感圖像數(shù)據(jù)不斷豐富，實(shí)現(xiàn)快速遙感目標(biāo)檢測(cè)成為提升天基遙感應(yīng)用能力的關(guān)鍵。遙感目標(biāo)檢測(cè)是指在遙感圖像中找到興趣目標(biāo)的具體位置并識(shí)別其類別，該技術(shù)在港口、機(jī)場(chǎng)流量監(jiān)測(cè)、交通疏導(dǎo)、尋找丟失船只等民用、軍用領(lǐng)域有著重要的作用。然而,基于傳統(tǒng)機(jī)器學(xué)習(xí)的遙感目標(biāo)檢測(cè)方法往往效果不理想，文獻(xiàn)[1]認(rèn)為相比常規(guī)圖像，遙感圖像背景十分復(fù)雜，在數(shù)千米的視野半徑范圍內(nèi)存在各種復(fù)雜背景，這些復(fù)雜背景對(duì)檢測(cè)器造成強(qiáng)烈的干擾。普通數(shù)據(jù)集大多是以與地面水平的視角拍攝的，目標(biāo)方向相對(duì)地面具有一定的垂直方向性，而遙感目標(biāo)由于是以俯視視角拍攝的，其方向在平面內(nèi)可以是任意的，因此需要檢測(cè)器對(duì)方向具有魯棒性。此外，遙感目標(biāo)大多為稠密的小目標(biāo)，而提高稠密小目標(biāo)檢測(cè)精度正是目前目標(biāo)檢測(cè)面臨的挑戰(zhàn)之一。

傳統(tǒng)機(jī)器學(xué)習(xí)效率低，主觀性強(qiáng)，嚴(yán)重依賴于數(shù)據(jù)結(jié)構(gòu)和專業(yè)知識(shí)，其特征泛化能力差，難以解決上述問題。近年來，深度學(xué)習(xí)逐漸成為研究熱點(diǎn)，它通過對(duì)大量數(shù)據(jù)的學(xué)習(xí)，自動(dòng)提取出最有效的特征，并通過建立復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)精確檢測(cè)。自2012年KRIZHEVSKY[2]掀起學(xué)術(shù)界深度學(xué)習(xí)熱潮，深度卷積神經(jīng)網(wǎng)絡(luò)憑借其包含的深層語義特征在計(jì)算機(jī)視覺領(lǐng)域取得了巨大成功,近年來越來越多地被應(yīng)用到圖像的目標(biāo)檢測(cè)任務(wù)中。目前廣泛使用的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法主要分為兩類：第一類是“兩個(gè)階段”方法，該類方法將目標(biāo)檢測(cè)分為檢測(cè)與識(shí)別兩個(gè)階段，首先由算法或者網(wǎng)絡(luò)在圖像中尋找興趣目標(biāo)區(qū)域，再對(duì)區(qū)域內(nèi)的目標(biāo)進(jìn)行識(shí)別，如RCNN[3]、Faster-RCNN[4]、Mask-RCNN[5]等；第二類是“一個(gè)階段”方法，該類方法利用回歸思想同時(shí)完成檢測(cè)與識(shí)別，實(shí)現(xiàn)端到端檢測(cè)與識(shí)別，如YOLO[6]、SSD[7]等，它們相對(duì)第一類“兩個(gè)階段”方法，在速度方面快很多，但檢測(cè)識(shí)別精度相對(duì)較低。

目前已經(jīng)有很多學(xué)者將深度學(xué)習(xí)應(yīng)用于遙感圖像領(lǐng)域，并提出很多針對(duì)遙感目標(biāo)檢測(cè)的網(wǎng)絡(luò)。2016年ZOU等[8]提出了一種SVDNet，將DCNN和機(jī)器學(xué)習(xí)的SVM相結(jié)合，在船只檢測(cè)中取得了很好效果。2018年YANG等[9]將深度殘差網(wǎng)絡(luò)ResNet和超矢量編碼(Super-Vector Coding)相結(jié)合，實(shí)現(xiàn)對(duì)飛機(jī)目標(biāo)的高效檢測(cè)。2018年XU等[10]將多層特征融合技術(shù)應(yīng)用到全卷積網(wǎng)絡(luò)(FCN)中，實(shí)現(xiàn)了對(duì)飛機(jī)目標(biāo)的高精度定位。YAO等[11]提出一種多架構(gòu)神經(jīng)網(wǎng)絡(luò)(MSCNN)，每個(gè)架構(gòu)分別針對(duì)大中小三類遙感目標(biāo)進(jìn)行檢測(cè)，相比于單一框架網(wǎng)絡(luò)，該網(wǎng)絡(luò)在虛警率和召回率上都有較大的提升。

但在火災(zāi)監(jiān)測(cè)報(bào)警、海上目標(biāo)搜救和地震、火山、海嘯災(zāi)害評(píng)估等重大緊急任務(wù)中，地面離線處理星上傳回的圖像方法，耗時(shí)長(zhǎng)久，會(huì)耽誤抗震救災(zāi)、人員搜救的黃金時(shí)間，因此星上在線識(shí)別處理將成為未來遙感技術(shù)的重要發(fā)展方向。受衛(wèi)星本身質(zhì)量和功耗的限制，其攜帶的計(jì)算單元的內(nèi)存、算力有限，雖然目前關(guān)于利用深度學(xué)習(xí)方法實(shí)現(xiàn)遙感目標(biāo)檢測(cè)的論文不在少數(shù)，但此類論文提出的網(wǎng)絡(luò)規(guī)模和計(jì)算量都較大，難以在星上內(nèi)存和算力都受限的情況下完成對(duì)目標(biāo)的實(shí)時(shí)檢測(cè)。

針對(duì)上述問題，本文采用了YOLOv3-MobileNet網(wǎng)絡(luò)，利用輕量化網(wǎng)絡(luò)MobileNet[12]替代原先YOLOv3[13]的特征提取網(wǎng)絡(luò)DarkNet53，在大量減少網(wǎng)絡(luò)參數(shù)的同時(shí)顯著提升運(yùn)行速度。在后續(xù)對(duì)比實(shí)驗(yàn)中發(fā)現(xiàn)，在兩者平均精度均值(mAP)都在76%附近時(shí)，YOLOv3-MobileNet檢測(cè)速度是YOLOv3的3.7倍。此外，本文還提出了一種IoUK-medians算法，對(duì)數(shù)據(jù)集groundtruths進(jìn)行尺度聚類分析，使得到的先驗(yàn)框更加適合目標(biāo)檢測(cè)。使用IoUK-medians算法后，在YOLOv3上的目標(biāo)檢測(cè)mAP提升了7.0%，在YOLOv3-MobileNet上提升了2.3%。

1 研究基礎(chǔ)

1.1 YOLOv3網(wǎng)絡(luò)

與之前的YOLO算法相比，YOLOv3采用了精度更高的DarkNet53作為特征提取網(wǎng)絡(luò)，設(shè)計(jì)了目標(biāo)多尺度檢測(cè)結(jié)構(gòu)，使用了logistics函數(shù)代替?zhèn)鹘y(tǒng)的softmax函數(shù)。DarkNet53借鑒了ResNet[14]殘差網(wǎng)絡(luò)的思路，在一些層之間設(shè)置了快捷路徑，實(shí)驗(yàn)表明：DarkNet53相比于ResNet-152，在精度上接近，但速度更快[13]。此外，YOLOv3對(duì)小目標(biāo)的檢測(cè)效果有明顯的提升，這得益于網(wǎng)絡(luò)新增的 top-down結(jié)構(gòu)，分別在13×13、26×26、52×52特征圖上進(jìn)行預(yù)測(cè)，解決了 YOLO算法檢測(cè)顆粒粗、對(duì)小目標(biāo)檢測(cè)無力的問題。

1.2 輕量化網(wǎng)絡(luò)

雖然現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)(如AlexNet[2]、ResNet[14]、GoogLeNet[15]和DenseNet[16]等)的特征提取能力隨著網(wǎng)絡(luò)層數(shù)的加深正在不斷地提升，但在實(shí)際工程中還需要考慮模型尺寸和模型預(yù)測(cè)速度。深度卷積神經(jīng)網(wǎng)絡(luò)包含幾十層甚至上百層的網(wǎng)絡(luò)，有著大量的權(quán)重參數(shù)，保存這些權(quán)重參數(shù)對(duì)設(shè)備內(nèi)存有很高的要求。此外，在實(shí)際應(yīng)用中往往要求檢測(cè)速度在幾十毫秒甚至更少時(shí)間內(nèi)完成目標(biāo)檢測(cè)。

為解決上述問題，通常的方法是對(duì)訓(xùn)練好的模型進(jìn)行壓縮，在減少網(wǎng)絡(luò)參數(shù)的同時(shí)提升預(yù)測(cè)速度。輕量化網(wǎng)絡(luò)則通過更高效的卷積計(jì)算方式，使得網(wǎng)絡(luò)參數(shù)和計(jì)算量大大減少，且不損失網(wǎng)絡(luò)性能。MobileNet由2017年Google 團(tuán)隊(duì)提出，它采用一種深度可分離卷積的高效卷積方法來提升運(yùn)算速度。在深度可分離卷積中，一個(gè)卷積核負(fù)責(zé)一部分特征圖，且每個(gè)特征圖只被一個(gè)卷積核卷積。深度可分離卷積涉及另外兩個(gè)超參數(shù)：寬度乘法器和分辨率乘法器，這兩個(gè)超參數(shù)用于衡量網(wǎng)絡(luò)設(shè)計(jì)的大小和量化模型規(guī)模。MobileNet在計(jì)算量、存儲(chǔ)空間和準(zhǔn)確率方面取得了很好的平衡，與VGG16[17]相比，在很小的精度損失情況下，將運(yùn)算量減小為1/30。

2 網(wǎng)絡(luò)設(shè)計(jì)

2.1 YOLOv3-MobileNet網(wǎng)絡(luò)

圖1為YOLOv3-MobileNet網(wǎng)絡(luò)結(jié)構(gòu)，相比于DarkNet53有53個(gè)卷積層，MobileNet只有1個(gè)卷積層和13個(gè)深度可分離卷積層。

從圖1中可以看出藍(lán)色的深度可分離卷積模塊將卷積操作分成了Depthwise和Pointwise兩個(gè)步驟。Depthwise對(duì)于不同輸入通道采取不同的卷積核進(jìn)行卷積，卷積核和通道是一一對(duì)應(yīng)的，再通過1×1 Pointwise 卷積完成對(duì)Depthwise輸出特征圖的整合，這樣就避免了普通卷積層中任意一個(gè)卷積核都需要對(duì)所有通道進(jìn)行操作的缺陷。通過Depthwise和Pointwise兩個(gè)步驟實(shí)現(xiàn)卷積層，其參數(shù)僅約為普通卷積的1/9，乘法計(jì)算量?jī)H為普通卷積的1/c+1/9，其中c為輸入通道數(shù)。基于這種高效卷積的MobileNet將大大精簡(jiǎn)整個(gè)模型的規(guī)模，極大減少計(jì)算量。表1為在輸入圖片尺寸為416×416時(shí)YOLOv3-MobileNet與YOLOv3在參數(shù)量、計(jì)算量方面的比較,在模型規(guī)模方面 , YOLOv3-MobileNet參數(shù)相比于YOLOv3降低了1.5倍; 在浮點(diǎn)數(shù)計(jì)算量方面, YOLOv3-MobileNet浮點(diǎn)數(shù)計(jì)算量相比于YOLOv3降低了3.3倍。

圖1 YOLOv3-MobileNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv3-MobileNet architecture

表1 YOLOv3-MobileNet與YOLOv3對(duì)比

從圖1可看到，YOLOv3-MobileNet未改變YOLOv3 top-down結(jié)構(gòu)，這種結(jié)構(gòu)借鑒了特征金字塔網(wǎng)絡(luò)[18]的概念，對(duì)特定卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的特征圖(YOLOv3-MobileNet中第5、11、13深度可分離卷積層)進(jìn)行處理，以生成反映此維度信息的特征。top-down結(jié)構(gòu)處理后所生成的特征之間也有關(guān)聯(lián)，上層高維度特征會(huì)影響下層低維度特征的表達(dá)，最終所有維度的特征一起作為目標(biāo)檢測(cè)的輸入，如圖2所示。不同維度的特征圖可以針對(duì)不同尺度的目標(biāo)進(jìn)行檢測(cè)；最上面的特征層，特征維度豐富但特征尺度壓縮嚴(yán)重，因此比較適合檢測(cè)大目標(biāo)；最下面的特征層，特征維度少但特征尺寸大，適合檢測(cè)小目標(biāo)；中間特征層居于上、下兩層中間，適合檢測(cè)中等目標(biāo)。這種多尺度的檢測(cè)極大地改善了YOLO檢測(cè)粗糙的問題，特別是對(duì)小目標(biāo)的檢測(cè)精度有了很大的提升。

圖2 自上向下結(jié)構(gòu)Fig.2 Top-down architecture

2.2 IoU K-medians聚類改進(jìn)

Faster RCNN和SSD算法中都需要手動(dòng)挑選先驗(yàn)邊界框的尺寸，顯然這種方法過于主觀。統(tǒng)計(jì)學(xué)習(xí)中的K-means方法通過對(duì)訓(xùn)練集中目標(biāo)的邊界框尺寸進(jìn)行聚類，自動(dòng)挑選出更精準(zhǔn)、更具代表性的邊界框尺寸，使得卷積神經(jīng)網(wǎng)絡(luò)更容易準(zhǔn)確預(yù)測(cè)目標(biāo)位置。對(duì)于給定的樣本集，根據(jù)樣本間的距離大小，將樣本劃分為K個(gè)簇,通過一系列迭代使得簇內(nèi)的樣本距離盡可能小，而讓簇間的距離盡量大，這是K-means的主要思想，其本質(zhì)上是一種基于最大期望的無監(jiān)督聚類方法。

K-means算法中通常以歐氏距離、曼哈頓距離、切比雪夫距離或者閔氏距離作為距離度量。設(shè)置先驗(yàn)邊界框大小的目的是使得預(yù)測(cè)框與groundtruths 之間的交并比(IoU)結(jié)果更好，但使用這些傳統(tǒng)的度量往往得不到很好的效果。因此本文使用一種新的距離度量標(biāo)準(zhǔn)，即

d(B,C)=1-IoU(B,C)

(1)

式中：B表示為groundtruths集合；C為邊界框的簇中心集合；IoU(B,C)為groundtruths和邊界框簇中心的交并比。IoU在目標(biāo)檢測(cè)中代表預(yù)測(cè)框與groundtruths之間的相關(guān)度，相關(guān)度越高，兩者越相近，預(yù)測(cè)框就越精確，IoU的具體計(jì)算式為

(2)

式中：bgti為第i個(gè)groundtruth；bpdj為第j個(gè)預(yù)測(cè)框。

K-means算法在簇迭代中采用求取均值后更新的方法，這樣會(huì)導(dǎo)致其對(duì)野值和噪聲比較敏感。在遙感圖像目標(biāo)檢測(cè)中，由于衛(wèi)星拍攝高度、相機(jī)分辨率以及物體本身實(shí)際尺寸大小均存在較大差異，會(huì)存在少數(shù)超大或者超小的目標(biāo)出現(xiàn)，這些異常目標(biāo)會(huì)對(duì)K-means聚類精度造成很大影響。為避免該現(xiàn)象，本文采用一種K-means的改進(jìn)算法K-medians，將原先K-means簇迭代中求取均值替換為求取中位數(shù)。中位數(shù)對(duì)噪聲點(diǎn)或者野值具有很強(qiáng)的抗干擾性，避免了異常目標(biāo)尺寸的影響，進(jìn)而提升目標(biāo)檢測(cè)精度。

圖3展示了以歐幾里得距離為度量的K-means、以 IoU為度量的K-means和K-medians三種方法在數(shù)據(jù)集上的平均 IoU隨聚類中心個(gè)數(shù)K的曲線圖。圖3驗(yàn)證了使用普通的距離度量往往得不到一個(gè)理想的結(jié)果，甚至隨著簇中心個(gè)數(shù)K的增加，以歐氏距離為度量的K-means效果在有些情況下反而變差了。原因是在使用歐氏距離為度量時(shí)，尺寸大的預(yù)測(cè)框比尺寸小的預(yù)測(cè)框更容易產(chǎn)生損失誤差，這必然會(huì)導(dǎo)致K-means生成的預(yù)測(cè)框偏大，從而使得最后得到的平均IoU偏低。而直接以IoU為度量的聚類方法避免了預(yù)測(cè)框大小造成損失不平衡的情況，得到的IoU更好，且結(jié)果與預(yù)測(cè)框的尺寸無關(guān)。此外，本文提出的基于IoUK-medians方法相比其他兩者的平均IoU更高，得到的先驗(yàn)框更精確也更具代表性。

圖3 不同聚類方法的平均IoU比較Fig.3 Average IoU for different methods

3 實(shí)驗(yàn)對(duì)比分析

3.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)使用的數(shù)據(jù)集是對(duì)NWPU-VHR10數(shù)據(jù)集的擴(kuò)充，數(shù)據(jù)集原有650張圖像，擴(kuò)充398張圖像，包含飛機(jī)、艦船、儲(chǔ)油罐、棒球場(chǎng)、網(wǎng)球場(chǎng)、籃球場(chǎng)、操場(chǎng)、港口、橋梁和車輛10類目標(biāo)，總計(jì)6 686個(gè)目標(biāo)。選取數(shù)據(jù)集中70%的圖像作為訓(xùn)練樣本，其余30%作為測(cè)試樣本。

3.2 檢測(cè)指標(biāo)

實(shí)驗(yàn)結(jié)果指標(biāo)采用國際PASCAL VOC 目標(biāo)檢測(cè)挑戰(zhàn)賽的度量，即精度(Precision)、召回率(Recall)、平均精度(AP)和平均精度均值(mAP)。精度P是正確預(yù)測(cè)的實(shí)例占預(yù)測(cè)總數(shù)的百分比，可表示為

P=NTP/(NTP+NFP)

(3)

式中：NTP為正陽性實(shí)例;NFP為假陽性實(shí)例。NTP和NFP相加就是總預(yù)測(cè)數(shù)。召回率R是正確預(yù)測(cè)的實(shí)例占實(shí)例總數(shù)的百分比，可表示為

R=NTP/(NTP+NFN)

(4)

式中：NFN為假陰性實(shí)例。NFN和NTP相加就是實(shí)例總數(shù)。對(duì)于每一種類別，平均精度是精度隨召回率變化(PR)曲線的積分，以圖4中飛機(jī)目標(biāo)為例，其平均精度是其PR曲線的積分，即圖中淡藍(lán)色區(qū)域的面積。mAP表示所有類別平均精度的均值。

圖4 飛機(jī)目標(biāo)平均精度Fig.4 AP of airplane

3.3 實(shí)驗(yàn)分析

實(shí)驗(yàn)采用的軟硬件平臺(tái)配置如下。CPU：Intel(R) Core(TM) i9-7900X @ 3.30 GHz; GPU: NVIDIA Titan xp; 操作系統(tǒng): ubuntu 16. 04LTS; 深度學(xué)習(xí)框架: Keras。

表2是YOLOv3和YOLOv3-MobileNet使用和不使用IoUK-medians算法的對(duì)比。通過對(duì)比可以發(fā)現(xiàn)：使用IoUK-medians算法能產(chǎn)生很好的效果，在YOLOv3上的mAP提升了7%，在YOLOv3-MobileNet上則提升了2.3%。檢測(cè)平臺(tái)界面如圖5所示。圖6是YOLOv3-MobileNet的部分檢測(cè)結(jié)果，最右側(cè)小圖中棒球場(chǎng)目標(biāo)在圖像中只占很小一部分，但也能被正確檢測(cè)，側(cè)面反映了YOLOv3-MobileNet具有強(qiáng)大的學(xué)習(xí)能力。

表2 IoU K-medians效果

圖7中，YOLOv3-MobileNet相比于YOLOv3在檢測(cè)速度方面有很大的優(yōu)勢(shì),其檢測(cè)速度為GPU耗時(shí)的倒數(shù)，YOLOv3-MobileNet最快能達(dá)到101 frame/s,滿足實(shí)時(shí)檢測(cè)的需求。當(dāng)YOLOv3-MobileNet和YOLOv3 兩者的mAP都在76%附近時(shí)，YOLOv3-MobileNet的檢測(cè)速度為78 frame/s，而YOLOv3的檢測(cè)速度只有21 frame/s，前者是后者的3.7倍。當(dāng)YOLOv3-MobileNet的mAP達(dá)到82.2%時(shí)，其檢測(cè)速度仍能達(dá)到33 frame/s,是YOLOv3最快速度(21 frame/s)的1.6倍，并且比YOLOv3的mAP高6%。

圖5 遙感目標(biāo)檢測(cè)系統(tǒng)界面Fig.5 System interface of remote sensing target detection

圖6 YOLOv3-MobileNet 檢測(cè)示例Fig.6 Some examples of YOLOv3-MobileNet detection

圖7 YOLOv3-MobileNet 與YOLOv3的mAP和檢測(cè)速度對(duì)比Fig.7 Comparison of mAP and detection speed between YOLOv3-MobileNet and YOLOv3

不同尺寸的輸入圖像對(duì)YOLOv3-MobileNet結(jié)果有很大的影響，總體來說，隨著網(wǎng)絡(luò)輸入圖像尺寸增大，mAP也在提升，如表3所示。大的輸入圖像能保留更加豐富的信息，因此其檢測(cè)精度也相對(duì)較高。值得注意的是，對(duì)于不同大小的目標(biāo)，隨著輸入圖像尺度增加，檢測(cè)精度不一定提高。對(duì)于儲(chǔ)油罐和汽車這類小尺寸目標(biāo)，隨著輸入尺度的增加，精度不斷提升；而對(duì)于操場(chǎng)、棒球場(chǎng)等超大尺寸的目標(biāo)，隨著輸入尺度增加，精度會(huì)降低；對(duì)于飛機(jī)這類中等尺寸的目標(biāo)，隨著輸入尺度增加，精度基本不變化。對(duì)于小目標(biāo)，在輸入尺寸較小時(shí)，經(jīng)過多層的卷積池化后，其大量信息丟失，使得最終特征的維度過低，從而難以區(qū)分出來。隨著輸入尺寸增大，保留下的信息變多，因而小目標(biāo)檢測(cè)精度得到提升。大目標(biāo)正好相反，輸入尺寸過大，使得提取特征的維度過高，最終導(dǎo)致精度下降。

表3 不同輸入尺寸YOLOv3-MobileNet各類目標(biāo)AP檢測(cè)結(jié)果

4 結(jié)束語

本文針對(duì)將來星上實(shí)時(shí)檢測(cè)內(nèi)存和計(jì)算能力都受限的情況，在YOLOv3的基礎(chǔ)上進(jìn)行了改進(jìn)，利用輕量化網(wǎng)絡(luò)MobileNet代替了DarkNet53，在保持檢測(cè)精度相差不多的情況下，極大減小了模型規(guī)模和計(jì)算量。此外還提出了一種IoUK-medians算法，通過對(duì)groundtruths進(jìn)行聚類分析，得到更精準(zhǔn)、更具代表性的先驗(yàn)框，使得YOLOv3-MobileNet更容易預(yù)測(cè)目標(biāo)準(zhǔn)確位置，并通過實(shí)驗(yàn)進(jìn)行了驗(yàn)證。該實(shí)驗(yàn)也為將來在嵌入式平臺(tái)上對(duì)算法進(jìn)行后續(xù)仿真驗(yàn)證奠定了基礎(chǔ)。