多層特征與上下文信息相結合的光學遙感影像目標檢測

陳 丁，萬 剛，李 科

信息工程大學，河南 鄭州 450001

光學遙感影像的目標檢測，是遙感影像分析中一項極具挑戰(zhàn)的研究內(nèi)容，其廣泛應用于土地規(guī)劃、環(huán)境監(jiān)測、城市安防、交通規(guī)劃和軍事指揮等眾多領域，近年來受到越來越多的關注[1]。與此同時，深度學習作為大數(shù)據(jù)、高性能計算環(huán)境下快速發(fā)展的一門新興機器學習技術，具備超強的數(shù)據(jù)學習能力和高度的特征抽象能力，如何將深度學習應用于遙感影像的目標檢測成為新的研究熱點。

在自然圖像領域，深度學習的應用極大地提升了目標檢測的性能，并出現(xiàn)了許多優(yōu)秀的算法，主要分為基于區(qū)域推薦(region proposals)的檢測方法和基于回歸的檢測方法[2-6]。然而，與自然圖像不同，深度學習應用于遙感影像的目標檢測更具挑戰(zhàn)性。如圖1所示，對比VOC2007數(shù)據(jù)集[7]和NWPU VHR-10數(shù)據(jù)集[8]，可以看出：

(1) 目標尺度多樣。遙感影像拍攝高度從幾百米到上萬米，即使是同類目標成像也大小不一。

(2) 小目標居多。VOC數(shù)據(jù)集中目標占據(jù)圖像的大部分區(qū)域，而遙感影像中多為小目標。小目標攜帶信息量較小，而CNN采樣會讓信息量進一步減少甚至無法區(qū)分。

(3) 目標外觀相似性。如圖1所示，道路和橋梁以及籃球場和田徑場場地，相似外觀增加了區(qū)分的難度，此時需要利用上下文(河流和跑道)輔助目標的判別。

(4) 目標背景復雜。光學遙感影像是對全空間全天候地物信息的真實反映，目標所處的背景信息十分復雜，因此要求檢測算法具有較強的抗復雜背景干擾能力。

圖1 VOC2007數(shù)據(jù)集與NWPU VHR-10數(shù)據(jù)集對比Fig.1 Comparison of VOC2007 dataset with NWPU VHR-10 dataset

利用深度學習解決遙感影像目標檢測問題，學者們已經(jīng)做了許多工作。文獻[9]在CNN中添加反卷積層融合CNN網(wǎng)絡深層和淺層特征，用于遙感影像中建筑物的檢測；文獻[10]引入優(yōu)化的ResNet模型解決遙感影像的顯著性檢測問題；文獻[11]依據(jù)影像中飛機成像大小選取感受野適中的CNN特征，并采樣深層CNN特征和淺層CNN特征進行疊加融合；文獻[12]引入了馬爾可夫隨機場和全卷積神經(jīng)網(wǎng)絡生成高質量的候選區(qū)域；文獻[13]融合多層CNN特征來描述遙感影像中車輛目標，并改用層級boost分類器判別取得了較好的效果；文獻[14]利用CNN不同層特征分別檢測不同尺度的目標，并結合上下文信息改進了檢測效果；文獻[15]對樣本數(shù)據(jù)進行擴充并且結合目標上下文特征用于遙感影像中飛機目標的檢測?？梢钥闯觯横槍b感影像中目標尺度多樣性和小目標問題，融合CNN網(wǎng)絡中不同卷積層所對應的特征，即融合CNN中淺卷積層富含的細節(jié)信息和深卷積層富含的語義信息進行特征提取是一種很好的思路[16]，但采用維度拼接或逐像素相加/乘的形式融合多層特征較少考慮不同層特征的分布及尺度差異，特征融合仍是研究的難點；另外，遙感影像中背景復雜性對目標檢測干擾較大，需要重點關注上下文信息對目標檢測的影響。

基于上述分析，本文參考區(qū)域卷積神經(jīng)網(wǎng)絡(region convolutional neural network，R-CNN)方法的兩階段檢測框架，利用混合受限玻爾茲曼機(hybrid restricted boltzmann machine，HRBM)模型，提出一種能夠融合CNN多層特征和上下文信息的目標檢測方法。本文的主要工作包括：一是提出細節(jié)—語義特征融合網(wǎng)絡，構建富含細節(jié)信息和語義信息的高級目標特征表示，強化特征描述能力；二是結合上下文信息，輔助補充目標特征表示，進一步提高特征判別能力；三是采用難負樣本挖掘(hard negative mining)策略，加速SVM分類器訓練，有效提升模型檢測性能。

1 本文算法

本文算法的整體結構如圖2所示，算法實現(xiàn)主要分為4個步驟：給定一幅圖像，首先利用選擇性搜索(Selective Search)算法[17]生成一系列感興趣區(qū)域(regions of interest，ROI)；其次選取1.0×和1.5×的ROI區(qū)域，如圖2中上下兩個分支所示，作為目標局部(local)區(qū)域和目標上下文(context)區(qū)域，分別提取能夠融合細節(jié)信息(conv3)和語義信息(conv5)的目標局部特征和目標上下文特征(與人類視覺類似，CNN自動學習的過程也呈分層特性，淺層如conv3學習到的特征反映物體形狀、邊緣、紋理等細節(jié)信息，而深層如conv5則能學習到對物體位置和尺度等敏感性更低的抽象特征，反映語義信息[18])；然后利用兩層HRBM模型融合目標局部特征和目標上下文特征，獲取最終用于檢測的特征表示；最后將局部—上下文融合特征分別輸入SVM分類器和位置回歸模型，實現(xiàn)目標類別預測和邊界框位置修正。

圖2 本文目標檢測模型架構示意Fig.2 The architecture of our geospatial object detection model

1.1 ROI提取

傳統(tǒng)目標檢測方法中通常利用不同尺度的滑動窗口實現(xiàn)“窮舉”式檢測目標，算法簡單但存在大量冗余計算。顯然，滑動窗口用于CNN目標檢測，高昂的計算代價是無法接受的。因此，迫切希望能夠采用一種高效的ROI提取方法。Selective Search算法是一種十分有效的ROI提取方法。算法首先通過圖像分割獲得超像素構成的子區(qū)域，然后利用顏色、紋理、大小等多種合并策略實現(xiàn)層次化的子區(qū)域合并，得到較少的可能存在目標的ROI[17]。Selective Search算法通過分割和層次化合并保證了ROI的多尺度，而多樣化的合并策略則保證了ROI的多適應性。此外比較常用的ROI提取方法還有文獻[19]提出的采用BING特征的Edge Box算法，以及最近提出的利用CNN特征的ROI提取方法[20-21]。本文選用Selective Search算法來生成遙感影像中的ROI。

1.2 混合受限波爾茲曼機

受限玻爾茲曼機(RBM)具有優(yōu)秀的數(shù)據(jù)擬合能力，常用來描述變量間的高階相互作用，研究人員常采用單層或多層RBM結構來提取特征。文獻[22]中系統(tǒng)介紹了RBM模型的訓練，將RBM表示為基于能量的模型，其數(shù)學形式如下

E(y,v,h;θ)=-hTWv-bTv-cTh-dTy-hTUy

(1)

式中，v=(v1,v2,…,vn)為可見層變量；h=(h1,h2,…,hm)為隱層變量；y表示樣本的標簽，采用獨熱(one-hot)編碼；其余變量為系統(tǒng)構建參數(shù)θ=(W,U,b,c,d)，W、U表示聯(lián)結權重，b、c、d則分別表示可視層、隱層節(jié)點和標簽層的偏差量。

那么，給定樣本k，隱層和可見層變量的聯(lián)合概率分布可定義為

(2)

式中，Z(θ)為歸一化常量，代表整個模型系統(tǒng)的能量總和，用于確保將能量函數(shù)轉化成有效的概率分布形式。

相應的，可以給出單個樣本(v,h,y)的條件概率公式

(3)

(4)

(5)

式中，σ(x)=1/(1+exp(-x)，代表sigmoid函數(shù)。

可知，RBM模型的訓練目標就是通過最大化似然求解優(yōu)化參數(shù)集θ。根據(jù)學習方式不同，RBM又可分為生成式模型(generative RBM，GRBM)和判別式模型(discriminative RBM，DRBM)，對應目標函數(shù)定義如下

(6)

(7)

二者本質區(qū)別在于建模對象不同，GRBM可以增量學習，能夠應付數(shù)據(jù)不完整的情況，而DRBM模型的優(yōu)勢在于容易學習且生成特征更能反映類間差異性[23]。為了結合兩種模型的優(yōu)點，本文采用HRBM模型，目標函數(shù)定義如下

Lhybrid(Dtrain)=αLgen(Dtrain)+Ldisc(Dtrain)

(8)

式中，α為權重參數(shù)，用來平衡Ldisc和Lgen在目標函數(shù)中的比重。

1.3 細節(jié)—語義特征融合網(wǎng)絡

如前所述，CNN自動學習的過程呈分層特性，學習到的淺層特征反映細節(jié)信息，深層特征反映語義信息。而對于目標檢測的兩個子任務，分類任務希望特征更多反映語義信息，位置回歸任務則希望特征更多反映細節(jié)信息，因此需要學習同時保留圖像語義信息和細節(jié)信息的特征表示。如圖3所示，本文設計了細節(jié)—語義特征融合網(wǎng)絡(detail-semantic feature fusion network，D-SFN)，利用HRBM模型的去噪和特征變換能力，實現(xiàn)CNN中細節(jié)特征和語義特征的融合?；A網(wǎng)絡采用AlexNet模型[24]，保留前5個卷積層(第1和第2卷積層后跟有池化層)，各卷積層通道(channel)數(shù)分別為96、256、384、384、256。第1層卷積核尺寸(size)為5×5，其余各層卷積核size=3×3，卷積步長(stride)固定為1。池化層采用最大池化(max-pooling)方式，窗口size=2×2，stride=2。后續(xù)連接3個全連接層，用于對模型進行微調優(yōu)化，在微調后將被棄用。最后一個全連接層(fc8)節(jié)點數(shù)由目標類別決定，本文為11(10類目標+背景)。

圖3 細節(jié)—語義特征融合網(wǎng)絡Fig.3 Detail-semantic feature fusion network

(9)

式中，C表示特征圖的通道數(shù)，將特征重組成一維向量訓練HRBM。

然后將式(9)得到的優(yōu)化的conv3′和conv5′特征拼接作為可見層，訓練HRBM模型ffuse，學習細節(jié)—語義融合特征Ffuse

(10)

1.4 結合上下文信息

遙感影像中的復雜背景信息對目標檢測的影響是不容忽視的，本節(jié)將上下文信息引入目標檢測模型以提高目標檢測的精度。設圖像大小w，h，ROI區(qū)域坐標(xmin,ymin,xmax,ymax)，尺度比例s，定義對應上下文區(qū)域

(11)

如圖2中上下兩個分支所示，上面分支對應目標局部區(qū)域(1.0倍ROI)，下面分支對應目標上下文區(qū)域(1.5倍ROI)，分別提取融合細節(jié)—語義信息的目標局部特征和目標上下文特征。與1.3節(jié)類似，目標局部特征和上下文特征的融合也采用HRBM模型，不同之處是增加了對上下文影響的控制。將學習到的局部特征Flocal和上下文特征Fcontext拼接作為新的可見層數(shù)據(jù)訓練HRBM模型，由于歸一化操作會導致目標局部特征和上下文特征的激活響應相等，考慮到背景信息的復雜性，引入可學習抑制參數(shù)λ=(λ1,λ2…,λm)，將上下文特征激活值分成m組分別對其進行約束(本文取m=14)，得到最終的目標特征表示，本文稱之為局部—上下文特征，如公式(12)所示

Fjoint=fjoint[normalize(Flocal⊕λ*Fcontext)]

(12)

式中，fjoint代表HRBM模型；λ*Fcontext表示組內(nèi)逐元素(element-wise)相乘；⊕代表拼接操作。

1.5 目標分類預測與定位

本文使用線性SVM對目標特征進行判定，給出每個候選框的類別預測。對每類目標都訓練一個線性SVM分類器，訓練樣本的采集以候選框與該類目標真實邊界框的交并比(intersection over union，IoU)為依據(jù)，IoU大于0.9的候選框為正樣本，IoU小于0.3的候選框為負樣本，其余則忽略。由于采集到的負樣本數(shù)量遠遠多于正樣本，正負樣本不均衡會導致訓練的分類器產(chǎn)生較多誤判，因此本文使用了難負樣本挖掘(hard negative mining)策略[25]，在訓練過程中，保證正負樣本比例1∶3，訓練步驟如下：

(1) 使用所有的正樣本，并從IoU小于0.1的負樣本中隨機挑選一部分訓練分類器。

(2) 用訓練好的分類器對所有負樣本進行檢測，挑出誤判為目標的負樣本作為難負樣本。

(3) 使用所有正樣本，從IoU小于0.1的負樣本和步驟(2)獲取的難負樣本構成的集合中隨機挑選一部分，重新訓練分類器。

(4) 重復步驟(2)、(3)，直到分類器性能不再提升。

使用難負樣本挖掘策略，可以有效減少分類器誤判情況，加快訓練速度。同時為了提高目標定位的精度，本文利用最終獲取的目標特征訓練了一個線性回歸模型來修正候選框的位置。

2 試驗與分析

2.1 試驗數(shù)據(jù)集及評價指標

本文使用試驗數(shù)據(jù)來源于NWPU VHR-10遙感影像數(shù)據(jù)集，經(jīng)過進一步整理得到。NWPU VHR-10由西北工業(yè)大學公開，共包含800張圖像，圖像采集自谷歌地球并由領域專家進行標注。數(shù)據(jù)集共包含10類目標：飛機、艦船、油罐、棒球場、網(wǎng)球場、籃球場、田徑場、港口、橋梁和汽車。本文使用了其中650張含有目標的圖像(另外150張圖像為背景圖像，用于半監(jiān)督或弱監(jiān)督學習)，由于數(shù)據(jù)集中圖像尺寸差異較大(最小533×597像素，而最大1728×1028像素)，通過對圖像進行裁剪得到仍然包含10類目標圖像1172張(圖像大小統(tǒng)一為400×400像素)。從中選取879張影像(約為數(shù)據(jù)集的75%)作為訓練集，剩余的293張影像作為測試集，進行后續(xù)試驗驗證分析。試驗環(huán)境主要包括Intel Core i7 CPU、NvidiaTitan X GPU和64 GB內(nèi)存，操作系統(tǒng)為Ubuntu16.04 LTS。

為了定量評價試驗結果，本文采用平均準確率(average precision，AP)和類別均值平均準確率(mean average precision，mAP)作為算法檢測性能分析的主要指標。準確率計算的是在所有預測為正例的數(shù)據(jù)中，真正例所占的比例，如式(13)所示

(13)

式中，TP、FP分別代表預測結果中真正例、偽正例的數(shù)量，當候選框與真實框的IoU大于0.5為正例，反之為負例。

2.2 試驗參數(shù)設置及優(yōu)化

本文CNN特征提取模型在ImageNet數(shù)據(jù)集預訓練的AlexNet模型基礎上進行微調優(yōu)化，最后一個全連接層節(jié)點數(shù)改為11，前面5個卷積層直接使用預訓練參數(shù)，全連接層參數(shù)采用“xavier”策略進行初始化，偏置設為0。采用隨機梯度下降法更新權值，并設置動量0.9，權值衰減0.000 5。設置最大迭代次數(shù)70 000次，學習率為0.001，迭代50 000次，然后學習率設為0.000 1，迭代10 000次，最后學習率設為0.000 01，再迭代10 000次。為擴充訓練集，對所有訓練樣本圖像進行旋轉增強，旋轉角度{20°，40°，…，340°}。

本文特征提取網(wǎng)絡采用逐層貪婪預訓練方式學習深度HRBM模型，隱層節(jié)點數(shù)量和平衡影響因子α采用交叉驗證方式確定。經(jīng)過試驗，參數(shù)設置見圖4。

圖4 特征提取網(wǎng)絡結構及參數(shù)設置Fig.4 Overall architecture and parameters of feature extraction network

2.3 算法可行性驗證分析

2.3.1 細節(jié)—語義特征融合試驗及分析

為了驗證細節(jié)—語義融合特征用于目標檢測的有效性，如表1所示，設計了7組對比試驗，分別選擇CNN單層特征以及不同層融合特征作為目標特征表示，輸入SVM分類器和回歸模型進行訓練，然后在測試集上測試。從測試結果可以發(fā)現(xiàn)，在飛機、棒球場、田徑場、籃球場、網(wǎng)球場和港口等6類目標上使用CNN單層特征(conv3、conv4或conv5)檢測精度(AP)差別不大；但在汽車、橋梁、艦船和油罐等4類目標上使用conv5層特征檢測精度明顯較差；相比單層特征，使用融合特征檢測各類目標，檢測精度有不同程度提升。表1最后一列給出了各組試驗在測試集上的mAP，可以發(fā)現(xiàn)融合特征相比單層特征的mAP提升顯著，說明多層特征融合能獲得更好的特征表示。其中，融合3、4、5層特征的mAP最好，融合3、4層特征mAP提升不明顯，融合3、5層特征相比融合4、5層特征檢測精度有0.3的提升。考慮到多層特征融合的計算成本，本文選擇融合3、5層特征，后續(xù)試驗也都是基于融合3、5層特征的方式。

表1 不同層特征融合試驗對比

2.3.2 結合上下文試驗及分析

本小節(jié)試驗在2.3.1小節(jié)試驗基礎上進行，用于驗證融合細節(jié)—語義特征后，結合上下文信息能否進一步提高算法檢測精度。細節(jié)—語義特征融合采用conv3+conv5方式，如表2所示，分別取s=1.0，s=1.5和s=2.0倍的ROI進行特征采樣，設計了6組對比試驗。通過試驗可以發(fā)現(xiàn)：

(1) 1、2、3組試驗對比。擴大候選區(qū)域算法檢測精度降低，表明候選區(qū)域過大會導致不能有效提取目標特征。此外，可以發(fā)現(xiàn)候選區(qū)域變化對油罐、汽車等小目標檢測精度影響較大，表明上下文信息對小目標檢測尤為重要。

(2) 1、2、5組試驗對比。針對網(wǎng)球場、籃球場、田徑場、港口、橋梁和汽車等目標，使用局部—上下文聯(lián)合特征檢測效果提升顯著，表明引入上下文信息能進一步增強了目標特征表示的判別能力。

(3) 4、5組試驗對比。試驗差別在于邊界框位置回歸使用特征不同，第4組僅使用目標局部特征，而第5組使用局部—上下文特征。兩組試驗在測試集上檢測精度相差只有0.7個百分點，說明本文算法提取的上下文信息對位置回歸影響不大。

(4) 5、6組試驗對比。上下文區(qū)域過大算法檢測精度降低。說明由于目標背景的復雜性，目標特征表示中上下文信息占比不宜過大/過多，以免產(chǎn)生干擾。根據(jù)試驗結果，本文選用上下文區(qū)域的比例s=1.5。

表2 結合上下文試驗對比

2.3.3 不同RBM模型對比

本節(jié)試驗用于驗證不同RBM模型對特征融合的影響，由于特征提取網(wǎng)絡包含多個RBM模型，為了保證公平性，試驗算法主干網(wǎng)絡保持一致，僅修改目標局部特征和上下文特征融合RBM模型(即圖2中最后一層RBM模型)，分別使用GRBM、DRBM和HRBM模型。訓練好的模型在測試集上的檢測結果如表3所示，可以看出使用DRBM模型的檢測精度要好于使用GRBM模型，而使用HRBM模型的檢測精度要顯著優(yōu)于GRBM和DRBM模型。試驗結果表明HRBM模型確實能夠綜合GRBM模型和DRBM模型各自的優(yōu)勢，更好地實現(xiàn)特征融合。

表3 不同RBM模型(局部—上下文特征融合)測試結果對比

2.3.4 與其他方法對比試驗

為進一步驗證本文方法有效性，將本文方法與幾種已有方法進行對比：COPD[8]、Transferred CNN[24]、RICNN[26]和R-CNN[2]。為保證試驗可比性，幾種方法參照原有訓練參數(shù)設置，在本文的訓練集上重新訓練。如表4所示，是幾種方法在測試集上的測試結果，其中文本加粗項代表本類目標最高檢測精度。本文方法在飛機、艦船、棒球場、田徑場、港口和橋梁等6類目標的AP值均為最高，特別是對艦船、港口和橋梁3類目標的檢測效果相比對比方法提高顯著。從整體看，本文方法mAP超過對比方法至少6個百分點，充分驗證了本文方法的有效性。此外，試驗6是未經(jīng)過微調而直接使用預訓練AlexNet模型提取特征的試驗結果，與試驗7的mAP相差近3個百分點，這也證明了自然圖像和遙感影像數(shù)據(jù)存在較大差異，表明針對任務數(shù)據(jù)的微調十分必要。表中最后一列給出了幾種方法檢測單張圖像所需時間，相比對比方法，本文方法由于利用多層RBM模型提取特征，檢測耗時有所增加。

表4 對比算法和本文算法在測試集上性能比較

如圖5所示，是本文方法在測試集部分圖像上的檢測結果，其中紅色框代表真正例目標(正確檢測)，綠色代表偽正例目標(誤判)，黃色代表偽負例目標(漏判)。邊界框左上角數(shù)字1—10代表預測類別，依次為：飛機、艦船、油罐、棒球場、網(wǎng)球場、籃球場、田徑場、港口、橋梁和汽車。從圖中可以看出：影像中10類目標的尺度差異很大(田徑場等目標充滿整幅圖像，而汽車、艦船等目標僅占圖像很小范圍)；同類目標紋理形狀差異較大，而不同類目標卻存在一定相似性；目標分布在復雜的背景中。面對這些挑戰(zhàn)，本文方法能夠成功檢測出圖像中大部分的目標，檢測性能穩(wěn)定，證明了本文方法的有效性。

3 結 論

本文設計了基于CNN和HRBM的一體化特征提取網(wǎng)絡，用于生成融合細節(jié)—語義信息和上下文信息的目標特征表示，融合細節(jié)—語義特征解決目標尺度多樣性和小目標問題，結合上下文信息解決目標外觀相似和背景復雜問題。通過在10類目標構成的NWPU數(shù)據(jù)集上進行比較試驗，驗證了本文方法的有效性。盡管本文方法在測試集上檢測效果提升顯著，相比對比方法提高6個百分點以上，但仍存在一些問題沒有解決：①檢測較為耗時，本文方法雖然檢測精度有了明顯提高，但計算量相對較大；②上下文利用不夠，如圖5中飛機、油罐等目標的分布存在一定的線性、集聚特點，更好地利用這些特點可能進一步提高檢測精度。后續(xù)工作中將研究候選區(qū)域生成方法，提高候選區(qū)域生成質量并減少計算量，同時深入挖掘上下文信息應用，探索目標間分布關聯(lián)關系以及上下文信息在位置回歸中的利用，進一步提高光學遙感影像目標檢測的精度。