融合特征的深度學習遙感圖像目標檢測模型

張永福，宋海林，班 越，汪西莉

(陜西師范大學 計算機科學學院，陜西 西安 710119)

0 引 言

目標檢測是計算機視覺的研究熱點之一，隨著遙感衛(wèi)星以及無人機的增多，遙感圖像數(shù)據(jù)的大數(shù)據(jù)特點日益凸顯。遙感圖像目標檢測，即在遙感圖像中獲取特定目標的位置和類別，在公共安全、車輛監(jiān)控、智慧城市等諸多方面具有重要的應(yīng)用價值。遙感圖像目標檢測和普通光學圖像目標檢測相比有很多不同，如遙感圖像尺寸較大，而目標相對所占比例小，目標可能非常密集，且目標的大小、姿態(tài)等可能會有很大的不同，遙感圖像中的復(fù)雜背景以及遮擋、陰影等也會使目標檢測難度增加。針對這些挑戰(zhàn)及標記樣本較少的實際情況，提出了一種融合特征的深度學習遙感圖像目標檢測模型，貢獻主要有：小規(guī)模的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)對標記樣本少的問題，多級特征融合策略應(yīng)對不同尺度目標檢測難題，新的后處理算法進一步提升檢測精度。所提模型和Faster R-CNN相比在提高檢測精度的同時降低了漏檢率和誤檢率。

1 相關(guān)工作

隨著深度學習的興起，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)被用于圖像目標檢測，CNN通過大量的訓練數(shù)據(jù)自主學習到圖像的多層次特征，相對于傳統(tǒng)的手工設(shè)計特征，展現(xiàn)了其自動和有效性[1]。但是卷積網(wǎng)絡(luò)由于卷積和池化操作在信息傳遞時會導致信息丟失，進而對多尺度目標檢測效果不理想。通常采用兩種方式解決此問題，一種是改進卷積網(wǎng)絡(luò)結(jié)構(gòu)，如He等[2]提出了殘差網(wǎng)絡(luò)模型(residual neural network，ResNet)，該模型建立前后層之間的“短路連接”，直接將輸入信息與輸出特征結(jié)合使特征更加完整，并有助于訓練過程中梯度的反向傳播，從而訓練出更深的CNN網(wǎng)絡(luò)，提高目標檢測精度。Kuang等[3]提出了DenseNet網(wǎng)絡(luò)，其每一層的輸入都是前面所有層輸出的并集，而該層所學習的特征圖也會被直接傳給其后面所有層作為輸入，通過這些操作達到保留特征的目的。

另一種解決思路是融合多級特征圖。Sean等[4]提出了inside-outside net (ION)，ION在最后一層卷積輸出的特征圖上分別在上、下、左、右四個方向獨立地使用RNN，并將它們的輸出連接成一個特征輸出，將兩次相同操作得到的特征作為上下文信息，再與前面不同的卷積層得到的特征連接起來作為一個特征輸出。這樣得到的特征既包括上下文信息，又包含多尺度信息，有利于對不同尺度的目標進行檢測，使檢測結(jié)果更加精確。Lin等[5]提出了特征金字塔網(wǎng)絡(luò)feature pyramid network (FPN)，利用特征圖金字塔，通過bottom-up和top-down的方法創(chuàng)建了一個具有橫向連接的自頂向下架構(gòu)用在多尺度上構(gòu)建高級語義特征圖。Kong等[6]提出一種端到端的全卷積檢測方法(RON)，通過反向連接塊將相鄰的特征圖融合起來，這樣淺層的特征圖融合了高層的特征圖信息，然后分別對融合后的多個特征圖做預(yù)測，預(yù)測得到的檢測框整合在一起輸出就得到整個網(wǎng)絡(luò)的輸出結(jié)果。Cai等[7]通過級聯(lián)幾個不同閾值訓練得到的網(wǎng)絡(luò)，前一個檢測模型的輸出作為后一個檢測模型的輸入，達到不斷優(yōu)化預(yù)測結(jié)果的目的。Singh等[8]提出了圖像金字塔尺度歸一化(SNIP)，用圖像金字塔來處理數(shù)據(jù)集中不同大小的數(shù)據(jù)。Zhang等[9]通過scale-depend pooling (SDP)來處理目標尺度多樣的問題，根據(jù)目標大小選擇合適的卷積層的特征作為分類器和邊框回歸器的輸入特征。

上述文獻研究基于深度學習的圖像目標檢測仍然存在一些不足。首先，GoogLeNet、ResNet等大型網(wǎng)絡(luò)在訓練時需要大量的標記樣本[10]，但遙感圖像有標記樣本往往有限，對于大規(guī)模的深度網(wǎng)絡(luò)，少量訓練樣本會造成訓練不充分。其次，級聯(lián)不同網(wǎng)絡(luò)會造成參數(shù)的增加，使時間成本增加。最后，現(xiàn)有特征融合方式未高效和有效地將淺層網(wǎng)絡(luò)與深層網(wǎng)絡(luò)信息融合用于預(yù)測，對遙感圖像中小目標的檢測幫助不大[11]。

本研究以Faster R-CNN目標檢測框架為基礎(chǔ)，提出了一種融合特征的深度學習遙感圖像目標檢測模型(fusion features based deep learning remote sensing image target detection model，F(xiàn)F-DLM)，主要工作和創(chuàng)新包括：一，模型用小型卷積深度網(wǎng)絡(luò)作為特征提取的主干網(wǎng)絡(luò)，適用于訓練樣本較少的情況；二，在特征提取主干網(wǎng)絡(luò)中通過融合特征圖提高對不同尺度目標的檢測率，在融合后的特征圖上進行預(yù)測，降低漏檢率，并采用RPN網(wǎng)絡(luò)提取候選框，加快處理速度；三，提出一種新的檢測框后處理算法——分組融合剔除檢測框算法(packet fusion reject detection bounding boxes，PFR-DBB)，在減少冗余檢測框的同時微調(diào)檢測框位置，使檢測框?qū)δ繕硕ㄎ桓_。模型在有限的訓練樣本和相對較短的時間內(nèi)，對遙感圖像中較小且密集的目標取得了較高的檢測正確率，較低的漏檢率、誤檢率，且對目標定位更為準確。

2 方法原理

兩階段目標檢測深度學習模型包括定位和識別兩個階段，其中region with convolutional neural network (R-CNN)[12]目標檢測方法重復(fù)提取所有的候選區(qū)域特征而造成時間花費巨大，效率低下。為此，F(xiàn)ast R-CNN[13]使用ROI-Pooling將提取的候選區(qū)映射到最后一個卷積層的特征圖上，只需要提取一次特征，大幅度提高了檢測速度，但它使用Selective Search進行候選區(qū)域的提取耗時過多[14]，為此Faster R-CNN[15]提出了區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)，自動提取候選區(qū)域，這樣可以使目標檢測在一個網(wǎng)絡(luò)中進行，真正形成端到端的訓練。因此Faster R-CNN在時間、效率上比之前的模型有巨大的優(yōu)勢。遙感圖像目標檢測比普通光學圖像目標的檢測難度更高，文中以Faster R-CNN框架為基礎(chǔ)，提出FF-DLM模型應(yīng)對遙感圖像訓練樣本較少、目標較小且密集等對目標檢測帶來的困難。

2.1 融合特征的目標檢測模型

FF-DLM和Faster R-CNN目標檢測模型具有相同的框架，模型包括3個部分：特征提取、區(qū)域提議和檢測部分。首先利用一個小型的卷積網(wǎng)絡(luò)提取特征；其次，融合多層特征圖，將融合的特征圖送到區(qū)域提取網(wǎng)絡(luò)產(chǎn)生候選區(qū)域，再將候選區(qū)域送到目標檢測網(wǎng)絡(luò)中得到目標檢測框和目標的類別；最后，使用分組融合剔除檢測框(PFR-DBB)算法去除冗余的檢測框，并調(diào)整檢測框位置使其對目標定位更精確。

FF-DLM模型結(jié)構(gòu)如圖1所示。其中特征提取卷積神經(jīng)網(wǎng)絡(luò)有7層，前5層是卷積層，后2層是反卷積層。網(wǎng)絡(luò)中的卷積核均采用較小的尺寸。為了減少參數(shù)個數(shù)，降低計算量，設(shè)置第一個卷積層卷積核的尺寸為7×7，第二層卷積核的尺寸為5×5，剩下的卷積層的卷積核尺寸為3×3。5個卷積層的卷積核個數(shù)分別為96、256、384、384、256。卷積核作用于前一層卷積操作后輸出的所有特征圖上，同一卷積核對于前一層不同特征圖的權(quán)重不同以提取不同的特征。前四個卷積層包括卷積運算、Relu非線性激活處理、數(shù)據(jù)歸一化和池化操作。采用最大池化方式，池化時對特征圖進行Padding=1的擴充。最后一個卷積層不進行池化操作。反卷積階段使用3×3的卷積核進行反卷積操作恢復(fù)conv4、conv5的特征圖。這里通過卷積操作提取輸入的遙感圖像特征，池化操作保留卷積后的主要特征，減少干擾信息。

圖1 FF-DLM模型結(jié)構(gòu)

鑒于越深層次的特征語義信息越豐富，特征越來越抽象，分辨率越來越低；層次較淺的特征具有較高的分辨率，適于小目標的檢測，故提出將多級特征融合以保留不同尺度目標的特征來適應(yīng)不同尺度目標的檢測任務(wù)[16]。為了進行融合操作，對conv4、conv5通過反卷積操作得到增大的特征圖，在高分辨率特征圖上保留語義信息。然后將conv3、conv4、conv5的特征圖進行逐像素相加的融合，融合結(jié)果既包含淺層次的細節(jié)特征，又包含深層次的語義特征。接著，用3×3的卷積核在卷積神經(jīng)網(wǎng)絡(luò)融合后的特征圖上滑動，每個滑動窗口產(chǎn)生9個不同比例{1∶1,1∶2,2∶1}、不同尺寸{322,642,1 282}的錨框(anchor box)，之后用兩個1×1的卷積核判斷其是否為目標并進行位置回歸，將所有錨框按目標置信度排序，取前300個作為候選框。最后將候選框送到檢測網(wǎng)絡(luò)再次對候選區(qū)域進行分類，并回歸得到目標邊界框的坐標。由于多級尺度特征的融合使提取的目標特征更為有效，模型不僅能檢測出特征明顯的目標，對于尺寸較小的目標、干擾較多的大的目標也提升了檢測率，降低了背景對目標的干擾造成的誤檢。

2.2 分組融合剔除檢測框算法(PFR-DBB)

目標檢測網(wǎng)絡(luò)最終輸出的檢測結(jié)果中一個目標可能會被多個檢測框檢出，且對目標定位可能不夠準確。經(jīng)典的非極大值抑制算法(non-maximum suppression，NMS)[17]將所有的檢測框按照置信度從小到大排序，保留得分最高的檢測框，計算該檢測框與其他檢測框的IOU，當IOU大于設(shè)定的閾值，則刪除該檢測框。NMS算法僅去除多余的檢測框，沒有對檢測框位置進行調(diào)整，最終剩下的檢測框?qū)δ繕说亩ㄎ徊粔驕蚀_，且仍然存在多個目標被框在一個檢測框中或一個目標被多個檢測框包圍的情況。

為了同時減少漏檢、誤檢，并使檢測框位置更為準確，文中提出了一種新的后處理方法，分組融合剔除檢測框算法(PFR-DBB)。這種方法和NMS類方法的思想完全不同，通過分組處理的方式，在去除冗余框的同時對檢測框進行位置的微調(diào)，使其對目標定位更精準。PFR-DBB先將檢測框分成不同的組，認為每組檢測框框住的是同一個目標，這樣做是為了防止兩個位置較近的物體被框到一個檢測框中的情況；然后對每組中的檢測框再進行處理，剔除多余檢測框，同時調(diào)整檢測框的大小和位置，使檢測框?qū)δ繕说亩ㄎ桓鼮榫_。

算法包括兩個部分，首先是分組過程，對應(yīng)于算法步驟中的(1)～(4)，其次是在每個分組中去除冗余的檢測框，同時微調(diào)檢測框位置的過程，對應(yīng)于步驟(5)、(6)。后處理算法過程如下：

(1)將所有的檢測框按照置信度遞增排序，得到m個檢測框{R1,R2,…,Rm}，放入隊列Q中，令i=1；

(2)將Ri放入組Gi中，并將其從Q中移除，將i+1→j；

(3)如果IOU(Ri,Rj)>0.6，則將Rj放入組Gi中并從Q中移除，j+1→j。若j>m轉(zhuǎn)到(4)，否則轉(zhuǎn)到(3)；

(4)i+1≥i，如果Q不為空，轉(zhuǎn)到(2)；若Q為空，分組過程結(jié)束，這時把檢測框分成了多個組，每個待檢測目標對應(yīng)一組檢測框；

(5)將組內(nèi)的所有檢測框按照面積遞增順序加入到一個隊列中；

(6)對于每個組對應(yīng)的隊列，從第一個檢測框開始依次計算它與隊列中其他檢測框間的IOU值，如果IOU值大于0.7，則計算重疊區(qū)域的中心，以此為新檢測框的中心，以兩個框的長之和的一半為長，寬之和的一半為寬，重新構(gòu)造一個檢測框并將該框加入隊尾，刪除這兩個檢測框；否則和隊列中的下一個檢測框?qū)Ρ?；重?fù)本步驟直到隊列中檢測框間的IOU均小于0.7，得到最終的檢測框。

3 實驗設(shè)置與評價指標

實驗使用的是Ubuntu14.04系統(tǒng)，硬件配置為Intel(R) Xeon(R) CPU E5-2690 2.60 GHz處理器、256 GB內(nèi)存和4 TB硬盤，采用Caffe深度學習框架。訓練過程中參數(shù)設(shè)置如下：初始學習率為0.01，迭代次數(shù)每增加10 000次，學習率降低0.1倍，gamma為0.1，權(quán)重衰減為0.000 5，動量為0.9。

評價指標包括IOU(intersection over union)、AP(average precision)、誤檢率FAR(false alarm rate)和漏檢率MR(missing ratio)。IOU指檢測得到的結(jié)果和標注結(jié)果重合的程度；AP是查準率的平均值，用來衡量檢測效果；FAR計算的是誤檢為目標的結(jié)果的數(shù)量占目標總數(shù)的比例；MR計算的是沒有被檢測出的目標占目標總數(shù)的比例。將召回率分成n級，則IOU、AP、FAR、MR分別用下式計算：

(1)

(2)

(3)

(4)

(5)

其中，B是檢測得到的檢測框，BT是Ground Truth，r是查全率，TP是真正例，TN是真反例，F(xiàn)P是假正例，F(xiàn)N假反例。

4 實驗結(jié)果和分析

4.1 飛機目標檢測實驗

遙感數(shù)據(jù)集中的樣本相對較少，為了提高檢測精度，利用遷移學習的思想，先對模型使用Pascal VOC 2007數(shù)據(jù)集進行預(yù)訓練。預(yù)訓練結(jié)束后，分別使用UCAS-AOD[18]、RSOD-Dataset[19]遙感數(shù)據(jù)集中的飛機目標樣本對模型進行微調(diào)訓練，使網(wǎng)絡(luò)中的權(quán)值學習更充分。UCAS-AOD和RSOD-Dataset中的飛機數(shù)據(jù)集在實驗中被劃分成訓練集和驗證集(70%)以及測試集(30%)，具體信息如表1所示。

表1 UCAS-AOD、RSOD-Dataset飛機數(shù)據(jù)集

圖2給出了Faster R-CNN和FF-DLM的一些測試樣本的檢測結(jié)果。由結(jié)果可見，在不同的場景以及光照條件下，F(xiàn)F-DLM的檢測結(jié)果與Faster R-CNN的檢測結(jié)果相比目標檢出率均有提高。FF-DLM對分布密集的小目標(即使背景和目標的光譜特征相似)、不同尺度的目標檢出情況較好。圖2中(1)～(4)，由于場景中目標和背景特征相似或目標較小等情況，F(xiàn)aster R-CNN都有漏檢的目標，而FF-DLM較好地檢出了這些目標。另外圖像中的被漏檢綠色的小飛機被檢測出，說明FF-DLM的特征融合策略有利于復(fù)雜場景不同尺度目標的檢出。小飛機和一些背景在形狀、顏色等方面和飛機較為相似，容易將背景誤檢為目標。圖2中的(5)、(6)顯示了Faster R-CNN誤將背景檢測為目標，而FF-DLM減少誤檢的情況。實驗結(jié)果表明FF-DLM模型可以在小樣本數(shù)據(jù)集上充分學習，和Faster R-CNN比較，在提高檢測率的同時減少了誤檢、漏檢的情況。

圖2 不同深度目標檢測模型飛機檢測結(jié)果

圖3顯示了FF-DLM采用PFR-DBB算法和NMS算法對檢測框進行后處理的結(jié)果。圖3的(1)圖中(a)子圖是用NMS算法后處理的結(jié)果，其中有兩個小飛機被檢測到一個框里面，(2)、(3)圖中有的小飛機被多個檢測框框住。而采用PFR-DBB算法有效去除了多余檢測框，且沒有將兩個目標框到一個檢測框中的情況，同時對一些檢測框的位置和大小進行了調(diào)整，使目標定位更加精確，從而提升了檢測精度。

圖3 檢測框后處理結(jié)果

采用平均準確率AP對檢測結(jié)果進行定量評價，F(xiàn)ast R-CNN、Faster R-CNN模型和FF-DLM的檢測結(jié)果和所用時間如表2所示。其中Fast R-CNN和Faster R-CNN采用ZF網(wǎng)絡(luò)作為特征提取主干網(wǎng)絡(luò)，它和FF-DLM模型都采用訓練Pascal VOC數(shù)據(jù)集得到的參數(shù)為初始參數(shù)進行訓練，測試時IOU設(shè)置為0.7。Fast R-CNN和Faster R-CNN未進行特征融合，后處理方法和FF-DLM模型不同。從表2可見，F(xiàn)F-DLM在檢測精度、檢測時間上都具有明顯的優(yōu)勢。FF-DLM使用RPN提取候選區(qū)域比Fast R-CNN使用Select search窮舉搜索提取候選區(qū)域減少了大量的時間，并且實現(xiàn)了端到端的訓練使精度提高。和Faster R-CNN相比，F(xiàn)F-DLM進行多級特征的融合，使模型可以更好地提取有效的特征，提高了檢測精度，降低了誤檢率。還因為FF-DLM使用了PFR-DBB后處理算法，比Faster R-CNN使用NMS算法對目標的定位更加精確，也為檢測精度的提高做出了貢獻。FF-DLM使用小型網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，在樣本不是很多的情況下可以使學習更加充分，得到更好的檢測結(jié)果。

表2 不同數(shù)據(jù)集上不同模型的結(jié)果比較

表3展示了飛機數(shù)據(jù)測試集在不同的模型上的漏檢率和誤檢率?？梢?，采用PFR-DBB后處理算法的FF-DLM模型比Faster R-CNN和采用NMS后處理算法的FF-DLM模型的效果要好。由于融合不同層特征使模型對于遙感圖像中小目標的特征能夠更好的學習與定位，提高對小目標的檢測性能。同時因為對特征學習的更加充分，可以降低誤檢率。此外，采用所提PFR-DBB后處理算法對于提升檢測精度也帶來了貢獻。

表3 Faster R-CNN和FF-DLM模型在UCAS-AOD測試集上的漏檢率和誤檢率

4.2 汽車目標檢測實驗

采用UCAS-AOD遙感數(shù)據(jù)集汽車目標進行實驗。圖像大小為1 280×659，共用了310張圖像，其中訓練集和驗證集的圖像268張，測試集圖像42張。使用不同的模型進行檢測的結(jié)果如表4所示。FF-DLM模型和Faster R-CNN的結(jié)果進行比較，得到了較低的誤檢率、漏檢率和較高的精度。對測試集在檢測精度上FF-DLM模型比Faster R-CNN提高了7.9%。同時，后處理算法PFR-DBB比NMS在提高檢測精度以及降低漏檢率和誤檢率上表現(xiàn)更好。

表4 Faster R-CNN和FF-DLM模型在汽車數(shù)據(jù)集上的檢測精度、漏檢率、誤檢率

遙感圖像中的汽車目標與飛機目標相比，所占像素更少，汽車的方向、大小、顏色差別大，所處場景多變，檢測起來更加困難。從圖4可見，F(xiàn)F-DLM模型對不同場景中的汽車的檢測結(jié)果比Faster R-CNN的檢測效果都好。圖4中的(1)圖顯示FF-DLM不僅減少了漏檢目標個數(shù)，而且檢測框?qū)δ繕说亩ㄎ桓泳_；(2)圖中FF-DLM模型將較小以及顏色與背景相似的汽車均能檢測出來，與Faster R-CNN相比誤檢汽車數(shù)大幅度減少；(3)圖中汽車尺寸更小，背景與汽車的顏色更為相似，可以明顯看出FF-DLM的檢測結(jié)果更好。

圖4 不同檢測模型對遙感圖像中汽車的檢測

Faster R-CNN僅使用較深層的特征圖，對于小目標的檢測效果并不好，漏檢汽車的數(shù)量較多，而且檢測框?qū)δ繕说目蛉〔粔蚓_，且將很多陰影部分錯檢為汽車；FF-DLM檢出的目標更多，沒有將陰影錯檢為汽車?？梢娝崮Ｐ蛯τ谄嚹繕送瑯尤〉昧溯^好的檢測效果，表明模型在少量樣本下對于多尺度的目標檢測具有優(yōu)勢。

5 結(jié)束語

提出了一種深度學習遙感圖像目標檢測模型，針對復(fù)雜場景遙感圖像中密集的、大小不一、姿態(tài)各異的目標，以及訓練樣本有限的情況，提出融合多級特征的小型卷積神經(jīng)網(wǎng)絡(luò)提取有效的目標特征，并提出PFR-DBB后處理算法在有效去除冗余檢測框的同時微調(diào)檢測框位置。所提模型在兩個遙感圖像數(shù)據(jù)集上獲得了明顯優(yōu)于比較方法的檢測結(jié)果，在提高檢測正確率的同時降低了漏檢率和誤檢率。在更小的汽車目標上同樣取得了明顯優(yōu)于對比方法的結(jié)果，表明所提模型在樣本有限的情況下對不同尺度的遙感目標檢測具有優(yōu)勢。

由于所提模型在規(guī)模上、采取的特征提取手段上都是簡單、適合標記樣本不是很多的情況的，如果結(jié)合注意力、特征金字塔等更多特征提取階段的措施，性能將會進一步提升，當然訓練和測試時間相應(yīng)也會增加。