基于深度學(xué)習(xí)的光學(xué)遙感機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別技術(shù)

牛新，竇勇，張鵬，曹玉社

國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410073

基于深度學(xué)習(xí)的光學(xué)遙感機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別技術(shù)

牛新，竇勇，張鵬，曹玉社

國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410073

機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別是遙感數(shù)據(jù)分析中的典型應(yīng)用。研究了光學(xué)遙感大數(shù)據(jù)環(huán)境下面向機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別的深度學(xué)習(xí)技術(shù)。為此，構(gòu)建了一個(gè)面向高分光學(xué)遙感圖像的機(jī)場(chǎng)與飛行器目標(biāo)秒級(jí)識(shí)別系統(tǒng)。使用遷移學(xué)習(xí)的方法在有標(biāo)簽樣本稀缺的情況下有效構(gòu)建深度網(wǎng)絡(luò)，利用目標(biāo)先驗(yàn)知識(shí)對(duì)潛在目標(biāo)進(jìn)行高效提取，并提出一種層次式的級(jí)聯(lián)深度網(wǎng)絡(luò)識(shí)別架構(gòu)，實(shí)現(xiàn)“大范圍、小目標(biāo)”的實(shí)時(shí)識(shí)別。實(shí)驗(yàn)結(jié)果表明，采用相應(yīng)技術(shù)，基于深度學(xué)習(xí)方法可以在秒級(jí)時(shí)間得到比傳統(tǒng)方法更高的識(shí)別精度。

光學(xué)遙感；目標(biāo)識(shí)別；深度學(xué)習(xí)

1 引言

遙感技術(shù)是依靠飛行器、人造衛(wèi)星等載體，通過(guò)光學(xué)、雷達(dá)等傳感器對(duì)遠(yuǎn)距離目標(biāo)進(jìn)行探測(cè)和識(shí)別的綜合技術(shù)。遙感技術(shù)已廣泛應(yīng)用于地圖測(cè)繪、資源監(jiān)管、環(huán)境保護(hù)、城市規(guī)劃、地質(zhì)研究、救災(zāi)搶險(xiǎn)、軍事偵察等領(lǐng)域。近年來(lái)，衛(wèi)星、無(wú)人機(jī)等遙感技術(shù)得到了快速發(fā)展，遙感數(shù)據(jù)呈現(xiàn)出體量大、來(lái)源和類型繁多、更新和變化速度快等大數(shù)據(jù)的特點(diǎn)。根據(jù)美國(guó)衛(wèi)星工業(yè)協(xié)會(huì)（SIA）《2015年全球衛(wèi)星產(chǎn)業(yè)狀況報(bào)告》①http://www.sia.org/wp-content/ uploads/2015/06/ Mktg15-SSIR-2015-FINALCompressed.pdf, 2015.數(shù)據(jù)顯示，截至2014年12月，全球在軌商業(yè)遙感衛(wèi)星和軍事監(jiān)視衛(wèi)星超過(guò)270顆。目前，航空航天遙感正向高空間分辨率、高光譜分辨率、高時(shí)間分辨率、多極化、多角度的方向迅猛發(fā)展。2012年我國(guó)發(fā)射的資源3號(hào)衛(wèi)星每天的數(shù)據(jù)觀測(cè)量可達(dá)到10 TB，至2015年，其原始數(shù)據(jù)總量已達(dá)1003 TB。而未來(lái)10年中，空、天、地平臺(tái)部署的傳感器每天獲取的數(shù)據(jù)將超過(guò)10 PB[1]。遙感觀測(cè)應(yīng)用已進(jìn)入大數(shù)據(jù)時(shí)代。

在遙感應(yīng)用中，應(yīng)用遙感圖像對(duì)機(jī)場(chǎng)及飛行器進(jìn)行目標(biāo)識(shí)別一直是研究的熱點(diǎn)。該技術(shù)已廣泛應(yīng)用于城市規(guī)劃、航空交通以及軍事偵察領(lǐng)域。在遙感圖像上進(jìn)行機(jī)場(chǎng)及飛行器識(shí)別，屬于一種“大范圍、小目標(biāo)”的識(shí)別應(yīng)用。受限于識(shí)別目標(biāo)特別是飛行器目標(biāo)的尺度，以往的研究主要集中于分辨率達(dá)到米級(jí)的高分辨率遙感圖像，因此主要以航拍光學(xué)和高分辨率光學(xué)衛(wèi)星遙感圖像為主。在高分遙感大數(shù)據(jù)條件下，該應(yīng)用突出困難在于以下兩點(diǎn)。

● 目標(biāo)的形態(tài)變化更加復(fù)雜：不同種類、不同排列角度、不同尺度、不同采集條件構(gòu)成的目標(biāo)不變性規(guī)律更加難以總結(jié)。

● 背景干擾更加明顯：高分辨率條件下，會(huì)出現(xiàn)更多與目標(biāo)在某些圖像特征上難以區(qū)分的背景目標(biāo)，例如對(duì)機(jī)場(chǎng)目標(biāo)而言，周圍復(fù)雜的人造建筑區(qū)域或復(fù)雜路網(wǎng)都會(huì)造成干擾；干擾因素也更加突出，如對(duì)飛行器目標(biāo)而言，停機(jī)坪上的紋理以及陰影變化都是很強(qiáng)的干擾。

為了充分利用大數(shù)據(jù)信息資源，進(jìn)一步提高機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別精度和效率，需要高效的遙感大數(shù)據(jù)智能分析處理技術(shù)。近年來(lái)，一種稱作深度學(xué)習(xí)的機(jī)器學(xué)習(xí)方法在大數(shù)據(jù)環(huán)境下異軍突起，特別在諸多圖像分析領(lǐng)域取得了突破性的進(jìn)展，成為目前學(xué)術(shù)和工業(yè)界研究的熱點(diǎn)。如何利用深度學(xué)習(xí)技術(shù)提高機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別的效果，也成為遙感應(yīng)用領(lǐng)域關(guān)注的焦點(diǎn)。

2 光學(xué)遙感機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別發(fā)展概況

2.1 傳統(tǒng)機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別面臨的挑戰(zhàn)

和其他目標(biāo)識(shí)別方法類似，傳統(tǒng)機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別方法一般也分為3個(gè)步驟，分別如下。

● 區(qū)域選擇：在給定的圖像上選擇一些區(qū)域作為進(jìn)一步識(shí)別的候選區(qū)域。

● 特征提取：對(duì)候選區(qū)域特征進(jìn)行提取。

● 目標(biāo)分類：通過(guò)已訓(xùn)練的分類器，依據(jù)提取特征對(duì)區(qū)域進(jìn)行分類識(shí)別。

其中，目標(biāo)特征的表達(dá)與學(xué)習(xí)是構(gòu)建高效目標(biāo)識(shí)別的關(guān)鍵。高效的目標(biāo)特征應(yīng)有較好的類間區(qū)分性與類內(nèi)不變性，既能夠辨識(shí)同一類目標(biāo)中不同樣本的復(fù)雜變化，也能對(duì)源于不同類的目標(biāo)加以區(qū)分。

在候選區(qū)選取方法上，通常采用滑窗辦法[2-6]，該方法將整個(gè)圖像用不同尺度、不同長(zhǎng)寬比的滑窗進(jìn)行指定步長(zhǎng)的掃描，所有滑窗掃描覆蓋的區(qū)域作為候選區(qū)域進(jìn)行進(jìn)一步識(shí)別。這種方法可以極大程度地避免識(shí)別區(qū)域的遺漏，但計(jì)算量較大，有很多明顯不含目標(biāo)的區(qū)域也參與了計(jì)算，引起了不必要的開銷，且步長(zhǎng)、長(zhǎng)寬比、尺度等參數(shù)也難以選擇。另一種候選區(qū)域方法是基于圖像分割[7-9]，即將整個(gè)圖像根據(jù)內(nèi)容的局部同質(zhì)性先分割為圖像塊，這樣目標(biāo)就包含在某個(gè)或某幾個(gè)相鄰的分割塊中，以此分割作為后續(xù)識(shí)別的基礎(chǔ)。此種方法相比滑窗減少了很多識(shí)別候選，但通常候選區(qū)域不規(guī)則，需要制定的識(shí)別方法相對(duì)復(fù)雜。近年來(lái)，基于顯著性的候選方法[7-9]得到很大發(fā)展，與滑窗和分割方法不同，基于顯著性的候選方法通過(guò)圖像的邊緣、紋理等特征，找到目標(biāo)區(qū)分于背景的所謂顯著性特點(diǎn)，只選擇圖像中此顯著性特征明顯的地方作為候選區(qū)域，而忽略大多數(shù)背景。這種方法只提取少量有限的區(qū)域進(jìn)行識(shí)別，可以極大提高識(shí)別效率。但是顯著性特征的設(shè)計(jì)至關(guān)重要，在復(fù)雜場(chǎng)景下可能會(huì)因顯著性區(qū)分度不高造成目標(biāo)的漏檢。

在識(shí)別方法上，關(guān)鍵是尋找合適的目標(biāo)圖像特征并設(shè)計(jì)相應(yīng)的分類方法。傳統(tǒng)方法多將特定目標(biāo)識(shí)別作為特殊的通用目標(biāo)識(shí)別應(yīng)用，采用一些先進(jìn)的通用特征，如HOG（histogram of oriented gradient，方向梯度直方圖）、SIFT（scale-invariant feature transform，尺度不變特征變換）[2,4]等。但這些通用特征往往只能表達(dá)圖像目標(biāo)的底層特點(diǎn)，難以把握目標(biāo)的不變性及與其他類型的區(qū)分性，在缺少訓(xùn)練樣本的情況下，對(duì)于復(fù)雜場(chǎng)景難以取得穩(wěn)定的效果。也有研究根據(jù)機(jī)場(chǎng)飛行器等具體目標(biāo)特點(diǎn)，設(shè)計(jì)具有良好旋轉(zhuǎn)、尺度不變性等特點(diǎn)的模板[10-12]進(jìn)行匹配，或根據(jù)目標(biāo)的顯著性特點(diǎn)等設(shè)計(jì)相應(yīng)的專用手工特征[3,7]進(jìn)行識(shí)別。但這些特征的設(shè)計(jì)依賴相關(guān)的專業(yè)知識(shí)，模型較固化，參數(shù)難調(diào)整，在面對(duì)新的復(fù)雜場(chǎng)景時(shí)，往往難以保持相對(duì)較高的準(zhǔn)確性。

上述研究現(xiàn)狀說(shuō)明，在遙感目標(biāo)識(shí)別中高效的特征表達(dá)與學(xué)習(xí)是識(shí)別的關(guān)鍵。除了挖掘目標(biāo)的個(gè)體特征，其鄰域特征或者說(shuō)目標(biāo)之間的相互關(guān)系特征的學(xué)習(xí)和應(yīng)用也會(huì)對(duì)結(jié)果準(zhǔn)確度的提高產(chǎn)生很大影響。而傳統(tǒng)方法對(duì)于遙感數(shù)據(jù)特征的提取都存在一定的局限性。傳統(tǒng)機(jī)器學(xué)習(xí)方法存在以下不足，一定程度上制約了其在大數(shù)據(jù)環(huán)境下的發(fā)展。

● 傳統(tǒng)方法基于預(yù)設(shè)的特征模型準(zhǔn)確性低，預(yù)設(shè)模型難以準(zhǔn)確描述具體應(yīng)用場(chǎng)景下的數(shù)據(jù)規(guī)律，且針對(duì)具體應(yīng)用，模型的選擇非常困難。

● 特征模型較固化，泛化能力差，難以掌握數(shù)據(jù)的復(fù)雜變化。大多模型本身固定，只可調(diào)整少量的模型參數(shù)。對(duì)于數(shù)據(jù)（如空間平移、旋轉(zhuǎn)、尺度縮放等）的變化難以掌握。

● 由于模型較固化、自由度低，難以利用大量數(shù)據(jù)不斷提高模型的表達(dá)能力。

● 大多數(shù)傳統(tǒng)機(jī)器學(xué)習(xí)方法等價(jià)于淺層學(xué)習(xí)模型，難以提取目標(biāo)的高層抽象信息。因此，高效的機(jī)器學(xué)習(xí)方法已經(jīng)成為遙感目標(biāo)識(shí)別研究中的熱點(diǎn)。

2.2 深度學(xué)習(xí)目標(biāo)識(shí)別及其在機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別中的挑戰(zhàn)

深度學(xué)習(xí)是近年來(lái)在大數(shù)據(jù)環(huán)境下興起的一門機(jī)器學(xué)習(xí)技術(shù)，其實(shí)質(zhì)是通過(guò)構(gòu)建具有多層結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)數(shù)據(jù)中的復(fù)雜特征，用于之后的分析、預(yù)測(cè)等應(yīng)用。由于其具備海量數(shù)據(jù)的學(xué)習(xí)能力和高度的特征抽象能力，在諸多圖像應(yīng)用領(lǐng)域都取得了相比傳統(tǒng)方法革命性的成功。

自2014年開始，基于深度學(xué)習(xí)（主要是卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[13]）的目標(biāo)識(shí)別在自然圖像應(yīng)用中也取得了巨大突破。例如，以R-CNN（region with CNN features，卷積神經(jīng)網(wǎng)絡(luò)特征區(qū)域）方法為代表的結(jié)合通用候選區(qū)域算法和CNN分類的目標(biāo)識(shí)別框架（R-CNN[14]、SPP-NET（spatial pyramid pooling net，空間金字塔池化網(wǎng)絡(luò)）[15]、Fast R-CNN（fast region with CNN features，快速卷積神經(jīng)網(wǎng)絡(luò)特征區(qū)域）方法[16]、Faster R-CNN（faster region with CNN features，更快速卷積神經(jīng)網(wǎng)絡(luò)特征區(qū)域）方法[17]）。其候選區(qū)域采用Selective Search（選擇搜索）[18]、EdgeBox（邊緣框選）[19]或BING（binarized normed gradient，二值化賦范梯度）特征[20]等通用目標(biāo)候選方法。而這些通用區(qū)域候選算法本質(zhì)上還是遍歷滑窗的方法。這些方法往往產(chǎn)生巨量的候選窗口（如在一幅遙感圖像上往往可以產(chǎn)生數(shù)百萬(wàn)個(gè)候選目標(biāo)區(qū)域），雖然類似SPPNET、Fast R-CNN、Faster R-CNN等方法采用在卷積出的特征圖上直接提取特征，避免了對(duì)每個(gè)候選區(qū)域進(jìn)行大量的重復(fù)卷積操作，但由于沒有減少非必要的目標(biāo)搜索，其計(jì)算量依然很大。而且為了兼顧通用，目標(biāo)的定位與框選并不十分準(zhǔn)確，進(jìn)而導(dǎo)致后期的CNN識(shí)別錯(cuò)誤。雖然后期的算法包括Fast R-CNN和Faster R-CNN等都采用回歸學(xué)習(xí)方法對(duì)目標(biāo)的準(zhǔn)確位置進(jìn)行了修正，甚至有YOLO（you only look once，框選識(shí)別統(tǒng)一）方法[21]、SSD（single shot multibox detector，多層級(jí)框選識(shí)別統(tǒng)一）方法[22]等算法通過(guò)訓(xùn)練直接給出定位與識(shí)別結(jié)果，但這些算法都需要大量的學(xué)習(xí)樣本用于預(yù)測(cè)準(zhǔn)確的回歸位置，且大多設(shè)計(jì)為針對(duì)圖像中占比大的目標(biāo)，對(duì)于“大范圍、小目標(biāo)”的遙感識(shí)別效果并不理想。

受深度學(xué)習(xí)在通用圖像領(lǐng)域的成功影響，機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別近年來(lái)也進(jìn)行了一些基于深度學(xué)習(xí)的初步嘗試。但深度模型的訓(xùn)練常常需要大量的有標(biāo)簽樣本，受限于遙感目標(biāo)樣本采集的困難，大多數(shù)研究都集中于高分辨率光學(xué)遙感數(shù)據(jù)。這樣可以利用光學(xué)圖像的共性特征，在自然圖像上通過(guò)大量樣本預(yù)訓(xùn)練好的模型（通常是深度CNN），通過(guò)少量樣本微調(diào)的方法引入光學(xué)遙感目標(biāo)識(shí)別[9]，進(jìn)而取得明顯優(yōu)于傳統(tǒng)方法的識(shí)別效果。也有采用DBN（deep belief network，深度信念網(wǎng)絡(luò)）[23]無(wú)監(jiān)督預(yù)訓(xùn)練的方法，直接在遙感圖像上訓(xùn)練深度模型用于飛行器識(shí)別[5,6,8,24]。但使用DBN的方法，通常網(wǎng)絡(luò)都相對(duì)深度CNN較淺，往往只有10層以下，模型泛化能力較弱，因此其高精度結(jié)果常常需要建立在高效的候選區(qū)上。同時(shí)目前的識(shí)別方法大多只能給出是否是特定目標(biāo)的識(shí)別結(jié)果，而對(duì)目標(biāo)類型進(jìn)一步的精細(xì)分類缺少相應(yīng)研究。

3 基于深度學(xué)習(xí)的光學(xué)遙感圖像機(jī)場(chǎng)與飛行器目標(biāo)識(shí)別系統(tǒng)與技術(shù)

針對(duì)遙感大數(shù)據(jù)的挑戰(zhàn)，筆者構(gòu)建了一個(gè)面向高分辨率光學(xué)遙感圖像的深度學(xué)習(xí)目標(biāo)識(shí)別系統(tǒng)。以機(jī)場(chǎng)識(shí)別和飛行器目標(biāo)識(shí)別為例，提出了一系列方法期望解決復(fù)雜場(chǎng)景下“大范圍、小目標(biāo)”應(yīng)用的快速準(zhǔn)確定位問題，最終在Goolge Earth 19級(jí)圖像上實(shí)現(xiàn)了高精度的機(jī)場(chǎng)、飛行器秒級(jí)定位。

該系統(tǒng)工作原理如圖1所示，基于深度學(xué)習(xí)方法，首先進(jìn)行機(jī)場(chǎng)定位，在機(jī)場(chǎng)范圍內(nèi)再進(jìn)行飛行器的識(shí)別，之后再對(duì)飛行器的類型進(jìn)行精細(xì)識(shí)別。在機(jī)場(chǎng)、飛行器目標(biāo)識(shí)別系統(tǒng)中，依然采用候選窗口提取與分類器識(shí)別的識(shí)別框架：采用區(qū)域候選算法提取待識(shí)別目標(biāo)區(qū)域；在候選區(qū)域上應(yīng)用已訓(xùn)練好的深度學(xué)習(xí)模型，對(duì)區(qū)域所含目標(biāo)進(jìn)行分類識(shí)別。

如前所述，該類型目標(biāo)識(shí)別任務(wù)的困難主要在于以下幾點(diǎn)。

● 高精度深度模型構(gòu)建與有標(biāo)簽樣本相對(duì)稀缺的矛盾。遙感大數(shù)據(jù)大多數(shù)是沒有類型標(biāo)簽的數(shù)據(jù)，特定目標(biāo)樣本的采集相對(duì)困難，而沒有大量的標(biāo)簽樣本難以對(duì)深度模型進(jìn)行有效訓(xùn)練，例如機(jī)場(chǎng)目標(biāo)，在中國(guó)范圍內(nèi)也僅能收集100多個(gè)樣本。而對(duì)于飛行器樣本，大量的人工標(biāo)注依然難以收集足夠的標(biāo)簽樣本來(lái)表現(xiàn)多種飛行器目標(biāo)在不同環(huán)境下的復(fù)雜變化?？刹杉臉颖緮?shù)量與訓(xùn)練類似AlexNet[25]這樣的深度網(wǎng)絡(luò)所采用的具有百萬(wàn)量級(jí)的ImageNet圖像庫(kù)相比依然較少。

● 追求高分辨率的豐富信息與準(zhǔn)確把握復(fù)雜目標(biāo)特征的矛盾。高分辨率圖像中，目標(biāo)的變化更為豐富，背景干擾更加顯著。雖然深度模型相比傳統(tǒng)方法可以更有效地提取目標(biāo)關(guān)鍵特征，但在樣本采集困難的情況下，如何結(jié)合數(shù)據(jù)本身的先驗(yàn)知識(shí)，提升深度學(xué)習(xí)識(shí)別效果也是應(yīng)用中需要解決的問題。

● 大范圍遙感圖像中，采用復(fù)雜深度網(wǎng)絡(luò)與追求快速識(shí)別之間的矛盾。深度模型往往較傳統(tǒng)方法更加復(fù)雜，由于采用幾十層到上百層的網(wǎng)絡(luò)，計(jì)算量巨大。

因而，在大范圍遙感圖像中，對(duì)小目標(biāo)采用深度學(xué)習(xí)模型進(jìn)行識(shí)別，需要相應(yīng)的高效系統(tǒng)設(shè)計(jì)。

圖1 機(jī)場(chǎng)、飛行器目標(biāo)識(shí)別系統(tǒng)流程

3.1 面向光學(xué)遙感數(shù)據(jù)的深度卷積網(wǎng)絡(luò)特征遷移學(xué)習(xí)

在圖像分類與識(shí)別領(lǐng)域，CNN是目前應(yīng)用最成功的深度模型之一。很多研究表明，較傳統(tǒng)方法CNN可以學(xué)習(xí)到更高效的高層圖像特征。但是訓(xùn)練一個(gè)識(shí)別率高、泛化能力強(qiáng)的CNN模型，往往需要大量有標(biāo)簽樣本。目前多數(shù)深度學(xué)習(xí)模型是面向自然場(chǎng)景圖像識(shí)別任務(wù)，研究比較充分，數(shù)據(jù)量龐大，而且都取得了非常優(yōu)秀的成績(jī)。而在光學(xué)遙感場(chǎng)景下，鮮有已經(jīng)成熟的公開數(shù)據(jù)集。各研究組的研究分散，能使用的數(shù)據(jù)也是有限人力標(biāo)注的少量數(shù)據(jù)，這對(duì)訓(xùn)練有效的深度模型構(gòu)成了挑戰(zhàn)。

盡管如此，CNN在兩個(gè)任務(wù)有別、但數(shù)據(jù)結(jié)構(gòu)相似的圖像集上，依然可以采用遷移學(xué)習(xí)的方法，將大樣本數(shù)據(jù)庫(kù)上預(yù)訓(xùn)練好的模型應(yīng)用在其他少樣本應(yīng)用中。在機(jī)場(chǎng)和飛行器識(shí)別中，研究的光學(xué)遙感圖像和自然場(chǎng)景圖像在成像原理上相似，觀測(cè)目標(biāo)的顏色、紋理、形狀等中、低層圖像特征相近。因而，基于大樣本自然圖像預(yù)訓(xùn)練CNN，采用遷移學(xué)習(xí)方法，用少量樣本加以進(jìn)一步微調(diào)訓(xùn)練，可以有效構(gòu)建面向光學(xué)遙感目標(biāo)識(shí)別的深度CNN模型。

現(xiàn)有的CNN的網(wǎng)絡(luò)結(jié)構(gòu)，其底層卷積層大多提取圖像的通用特征（邊緣檢測(cè)或者色塊檢測(cè)），中層和高層的卷積層或全連接層包含更多的任務(wù)相關(guān)特征。因此遷移網(wǎng)絡(luò)時(shí)更關(guān)注的是網(wǎng)絡(luò)頂層的遷移。直接有效的辦法可采用網(wǎng)絡(luò)微調(diào)的方式，將頂層的分類目標(biāo)替換為現(xiàn)有任務(wù)目標(biāo)，再用少量樣本通過(guò)反向傳播訓(xùn)練的方式對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。訓(xùn)練樣本的采集根據(jù)目標(biāo)和場(chǎng)景的復(fù)雜程度而確定。一般采取細(xì)分類的辦法，減少類內(nèi)差別，提高識(shí)別精度，如將“背景”依據(jù)圖像特點(diǎn)進(jìn)行多種城區(qū)、農(nóng)田、河流等細(xì)分類。同時(shí)，為了增強(qiáng)網(wǎng)絡(luò)的頑健性，即增強(qiáng)網(wǎng)絡(luò)對(duì)于目標(biāo)在光照、平移、角度等復(fù)雜變化下的識(shí)別能力，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行一定的變換和擾動(dòng)擴(kuò)充，在增加了訓(xùn)練數(shù)據(jù)量的同時(shí)可以讓網(wǎng)絡(luò)充分學(xué)習(xí)到目標(biāo)的變化，如在訓(xùn)練飛行器識(shí)別模型中，增加了飛行器訓(xùn)練樣本7個(gè)方向的旋轉(zhuǎn)變換、1種光照變換和1種鏡像變換，使得樣本擴(kuò)充了(7+1)(1+1)(1+1) =32倍，達(dá)到16萬(wàn)個(gè)樣本的訓(xùn)練量級(jí)，如圖2所示。

對(duì)于機(jī)場(chǎng)飛行器識(shí)別的深度CNN遷移學(xué)習(xí)，均采用在ImageNet上取得86%分類精度的AlexNet 作為遷移源模型。在對(duì)6種機(jī)型和背景的分類問題上，采用遷移CNN的方法可以取得明顯優(yōu)于傳統(tǒng)方法的效果，如圖3所示（混淆矩陣中橫坐標(biāo)代表7種類型，其中1-6為6種飛行器，7為背景，色階指示精度高低）。采用類似的方法，同樣構(gòu)造了10萬(wàn)樣本量級(jí)的機(jī)場(chǎng)識(shí)別訓(xùn)練庫(kù)。在對(duì)機(jī)場(chǎng)和背景共11類的分類結(jié)果上，也可以得到相比傳統(tǒng)方法10%以上的精度提升。

圖2 光學(xué)遙感飛行器目標(biāo)深度CNN遷移學(xué)習(xí)樣本示例

3.2 結(jié)合先驗(yàn)知識(shí)的待檢區(qū)域篩選

在機(jī)場(chǎng)、飛行器目標(biāo)識(shí)別系統(tǒng)中，筆者依然采用候選窗口提取與分類器識(shí)別的識(shí)別框架。因此，除了目標(biāo)特征學(xué)習(xí)，候選窗口選取方法對(duì)系統(tǒng)識(shí)別效率有著極大影響。如前所述，常用的候選區(qū)域提取方法（如滑窗、BING、EdgeBox、Selective Search等）對(duì)于占圖像比例較大目標(biāo)的識(shí)別應(yīng)用有良好效果。但在“大范圍”的遙感圖像識(shí)別中難以框選“小目標(biāo)”的準(zhǔn)確范圍，且均會(huì)產(chǎn)生大量的候選窗口，對(duì)快速識(shí)別構(gòu)成嚴(yán)重負(fù)擔(dān)。而對(duì)于遙感圖像中的特定目標(biāo)，可以利用其先驗(yàn)信息，如機(jī)場(chǎng)的線性圖像特征和飛行器的尺度及邊緣分布規(guī)律，高效地構(gòu)建候選區(qū)域。這些先驗(yàn)信息，還可以在后期識(shí)別中進(jìn)一步提高基于深度學(xué)習(xí)的預(yù)測(cè)精度。

圖3 飛行器細(xì)分類比較

圖4 基于邊緣的機(jī)場(chǎng)候選區(qū)域提取示例

3.2.1 基于線段檢測(cè)的機(jī)場(chǎng)目標(biāo)候選區(qū)域提取

作為特殊人造建筑，機(jī)場(chǎng)跑道是機(jī)場(chǎng)區(qū)別于其他場(chǎng)景目標(biāo)的主要特征。跑道一般可以被檢測(cè)為具有一定分布規(guī)律的平行長(zhǎng)直線段。據(jù)此先驗(yàn)知識(shí)，可以利用線段檢測(cè)的方法提取有限且高質(zhì)量的識(shí)別候選區(qū)域。具體過(guò)程如圖4所示：使用LSD（line segment detector，線段檢測(cè)器）[27]算法快速提取初始線段；設(shè)計(jì)線段連接算法，恢復(fù)被截?cái)嗟拈L(zhǎng)直線段；依據(jù)線段之間的平行關(guān)系和垂直距離對(duì)線段進(jìn)行分組，根據(jù)每一組線段的空間分布提取候選區(qū)域；為了進(jìn)一步減少候選框數(shù)量，根據(jù)每組線段分布特征進(jìn)行打分，篩除明顯錯(cuò)誤窗口。

經(jīng)此方法得到的機(jī)場(chǎng)候選結(jié)果如圖5所示（粗線框?yàn)闄C(jī)場(chǎng)真實(shí)區(qū)域，細(xì)線框?yàn)榻o出的識(shí)別候選區(qū)域），識(shí)別所需候選區(qū)域數(shù)量大幅降低，大多數(shù)案例中僅僅包含數(shù)個(gè)機(jī)場(chǎng)候選區(qū)域。同時(shí)，候選區(qū)域?qū)δ繕?biāo)的覆蓋更加準(zhǔn)確，從而可以有效提高機(jī)場(chǎng)識(shí)別的性能和速度。在200景約3000像素×3000像素大小，分辨率約8 m×8 m Google Earth測(cè)試圖集上（其中，170景有機(jī)場(chǎng)，30景無(wú)機(jī)場(chǎng)），筆者提出的線段區(qū)域候選結(jié)合遷移學(xué)習(xí)深度CNN的識(shí)別方法可以得到相比其他傳統(tǒng)方法明顯的準(zhǔn)確率提升，見表1，并且在GTX 780 GPU平臺(tái)上，可以將耗時(shí)控制在秒級(jí)。

3.2.2 基于邊緣尺度的飛行器目標(biāo)候選區(qū)域提取

盡管機(jī)場(chǎng)識(shí)別為后續(xù)的飛行器識(shí)別給出了有限的識(shí)別范圍，但在Google Earth 19級(jí)圖像上，典型的機(jī)場(chǎng)區(qū)域邊長(zhǎng)也可達(dá)上萬(wàn)像素。采用傳統(tǒng)候選區(qū)域提取方法，也會(huì)得到百萬(wàn)數(shù)量級(jí)的候選區(qū)。為了提高識(shí)別效率，應(yīng)盡可能減少待識(shí)別候選區(qū)域，并且盡量減少回歸率的降低，結(jié)合飛行器目標(biāo)尺度和邊緣分布規(guī)律，筆者提出了一些候選區(qū)域優(yōu)化方法：根據(jù)Google Earth 19級(jí)分辨率圖像飛行器目標(biāo)尺度分布范圍，排除尺度過(guò)小或過(guò)大的候選區(qū)域；根據(jù)飛行器目標(biāo)候選區(qū)域邊緣密度分布特點(diǎn)，排除明顯分布不符合目標(biāo)特點(diǎn)的候選區(qū)域。該方法主要受Edgebox算法啟發(fā)，能準(zhǔn)確覆蓋目標(biāo)的候選區(qū)域，其邊框與物體邊緣的交叉機(jī)會(huì)較小，且區(qū)域內(nèi)所含不同類型的目標(biāo)，其邊緣分布存在一定規(guī)律。如圖6所示，在邊緣圖像中，不含目標(biāo)的平滑區(qū)域其邊緣密度相對(duì)較低，而復(fù)雜建筑區(qū)或者森林區(qū)域等邊緣密度較高。因此，可以利用此先驗(yàn)來(lái)對(duì)飛行器目標(biāo)候選區(qū)域進(jìn)行篩選。

圖5 基于邊緣的機(jī)場(chǎng)候選區(qū)域提取結(jié)果示例

表1 基于所提線段候選方法的機(jī)場(chǎng)識(shí)別效果

圖6 利用Prewitt算子計(jì)算得到的邊緣圖像信息

圖7 過(guò)濾算法的效果及對(duì)應(yīng)影響曲線

在實(shí)驗(yàn)中，該方法可以過(guò)濾平均90%的候選區(qū)域，只造成約10%的回歸率下降，如圖7所示。而根據(jù)應(yīng)用側(cè)重點(diǎn)的不同，可以通過(guò)調(diào)整篩選閾值，選擇相對(duì)保守或激進(jìn)的篩選策略來(lái)調(diào)整實(shí)時(shí)性與準(zhǔn)確性之間的平衡。

3.3 面向快速識(shí)別的級(jí)聯(lián)式網(wǎng)絡(luò)識(shí)別方法

即使采取了高效的候選區(qū)域篩選策略，對(duì)于“大范圍、小目標(biāo)”的遙感目標(biāo)識(shí)別任務(wù)，若采用復(fù)雜的深度學(xué)習(xí)模型，其計(jì)算量仍然巨大。如前所述，采用候選篩選技術(shù)，可以將飛行器的候選區(qū)域減少90%，但對(duì)于機(jī)場(chǎng)圖像中普遍初始有百萬(wàn)數(shù)量級(jí)的候選區(qū)域集合，其篩選后的區(qū)域數(shù)量仍有十萬(wàn)量級(jí)。即便采用GPU硬件加速手段，使用幾十層的深度CNN也需幾十分鐘的識(shí)別時(shí)間。

為了解決采用深度模型進(jìn)行精確預(yù)測(cè)與追求實(shí)時(shí)性的矛盾，基于遙感圖像目標(biāo)識(shí)別任務(wù)的特點(diǎn)，筆者設(shè)計(jì)了一個(gè)快速的、由粗到細(xì)的級(jí)聯(lián)式CNN識(shí)別構(gòu)架。該架構(gòu)基于對(duì)生物視覺系統(tǒng)的模擬，不同輸入對(duì)應(yīng)不同的反映時(shí)間。簡(jiǎn)單的輸入對(duì)應(yīng)較短的判斷時(shí)間，復(fù)雜的輸入對(duì)應(yīng)較長(zhǎng)的處理時(shí)間。整體的識(shí)別框架如圖8所示，級(jí)聯(lián)式網(wǎng)絡(luò)的基本思想采用準(zhǔn)確率相對(duì)低但召回率相對(duì)較高的簡(jiǎn)單網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行層層過(guò)濾。由于簡(jiǎn)單網(wǎng)絡(luò)的計(jì)算代價(jià)較低，可以快速過(guò)濾一些容易判斷的目標(biāo)，而將少量難以判斷的目標(biāo)留給之后的復(fù)雜網(wǎng)絡(luò)進(jìn)行判斷，從而在保持精度的前提下提高計(jì)算效率。該構(gòu)架也是基于候選區(qū)域結(jié)合CNN識(shí)別的R-CNN架構(gòu)，但與傳統(tǒng)R-CNN采用單一的深層CNN方法不同，筆者精心設(shè)計(jì)了一系列CNN，并且以前后級(jí)聯(lián)的方式連接。

圖8 面向快速飛行器識(shí)別的級(jí)聯(lián)式CNN架構(gòu)

在候選區(qū)域提取方法上，得益于之后級(jí)聯(lián)網(wǎng)絡(luò)的效率，可以選擇覆蓋全面的滑窗方法，并結(jié)合圖像金字塔以提取不同尺度的目標(biāo)。對(duì)于輸入待識(shí)別圖像，以1.414為縮放因子建立圖像金字塔，然后以12像素×12像素大小的窗口，4個(gè)像素為步長(zhǎng)對(duì)候選區(qū)域進(jìn)行滑窗提取。由于固定12像素×12像素大小的窗口在不同的金字塔層對(duì)應(yīng)著不同大小的區(qū)域，即可以用固定網(wǎng)絡(luò)輸入大小提取不同尺度的目標(biāo)，避免了在固定圖像上采用不同尺度的窗口提取區(qū)域時(shí)，為適應(yīng)固定的CNN輸入而造成的大量樣本縮放開銷，即用縮放整張圖像來(lái)代替縮放單個(gè)目標(biāo)區(qū)域。

尺度滑窗后，再經(jīng)過(guò)前述的候選區(qū)粗篩選，剩余約10萬(wàn)量級(jí)候選區(qū)域進(jìn)入級(jí)聯(lián)式CNN進(jìn)行識(shí)別。如圖9所示，筆者設(shè)計(jì)了4個(gè)CNN，由簡(jiǎn)單到復(fù)雜分別稱之為12-net、24-net、48-net 以及經(jīng)過(guò)遷移學(xué)習(xí)的AlexNet。圖9分別展示了12-net、24-net、48-net的網(wǎng)絡(luò)結(jié)構(gòu)。這3個(gè)結(jié)構(gòu)逐漸復(fù)雜的網(wǎng)絡(luò)被設(shè)計(jì)為判斷是否為飛行器的二分類網(wǎng)絡(luò)，其特征提取能力及識(shí)別能力也隨網(wǎng)絡(luò)層數(shù)的增加逐漸增強(qiáng)。輸入候選區(qū)域經(jīng)過(guò)級(jí)聯(lián)網(wǎng)絡(luò)逐層識(shí)別，在被某一網(wǎng)絡(luò)判別為非飛行器目標(biāo)即被丟棄，不再送入后續(xù)的深層次網(wǎng)絡(luò)。在實(shí)驗(yàn)中，采用12-net即可在秒級(jí)過(guò)濾超過(guò)75%的候選區(qū)域。經(jīng)過(guò)48-net處理后，候選區(qū)域剩余約1%剩余區(qū)域。最后得到有限的千余候選區(qū)域供深層次網(wǎng)絡(luò)AlexNet進(jìn)行進(jìn)一步細(xì)分。由于候選區(qū)域大大減少，即使采用深度的AlexNet網(wǎng)絡(luò)也可以實(shí)現(xiàn)秒級(jí)定位識(shí)別。

圖9 12-net、24-net、48-net的網(wǎng)絡(luò)結(jié)構(gòu)

圖10展示了級(jí)聯(lián)式CNN在識(shí)別速度上相對(duì)于傳統(tǒng)R-CNN方法上的對(duì)比。圖10中以R-CNN的識(shí)別時(shí)間為單位做了歸一化。其中，橫坐標(biāo)代表試驗(yàn)中用到的58張機(jī)場(chǎng)圖像。平均來(lái)看，筆者提出的級(jí)聯(lián)式CNN結(jié)構(gòu)相對(duì)于傳統(tǒng)R-CNN在速度上能提高40倍，結(jié)合基于圖像低層邊緣信息的“粗過(guò)濾”候選區(qū)域篩選方法，筆者提出的系統(tǒng)在速度上甚至可以提高100倍以上。而應(yīng)用GTX 980 GPU，對(duì)于Google 19級(jí)機(jī)場(chǎng)區(qū)域，識(shí)別時(shí)間可以控制在幾十秒。圖11給出了采用級(jí)聯(lián)CNN與基于BOW的傳統(tǒng)方法在飛行器目標(biāo)識(shí)別識(shí)別精度上的比較，表明了級(jí)聯(lián)式CNN結(jié)構(gòu)在高精度實(shí)時(shí)遙感目標(biāo)識(shí)別應(yīng)用中的可行性。圖12、圖13展示了部分飛行器識(shí)別結(jié)果。

圖10 級(jí)聯(lián)式CNN快速目標(biāo)識(shí)別系統(tǒng)相對(duì)于傳統(tǒng)R-CNN在識(shí)別時(shí)間上的對(duì)比

圖11 級(jí)聯(lián)式CNN與BOW R-CNN在識(shí)別精度上的比較

圖12 級(jí)聯(lián)式CNN飛行器目標(biāo)識(shí)別結(jié)果展示1

4 結(jié)束語(yǔ)

深度學(xué)習(xí)技術(shù)為分析處理遙感大數(shù)據(jù)開辟了新的方向。應(yīng)用深度模型可有效學(xué)習(xí)高分遙感圖像中的復(fù)雜規(guī)律特征，從而提高檢測(cè)識(shí)別等遙感應(yīng)用的精度水平。在遙感樣本采集相對(duì)困難的情況下，采用遷移學(xué)習(xí)等技術(shù)，可以快速構(gòu)建高效的深度學(xué)習(xí)模型。結(jié)合應(yīng)用目標(biāo)的先驗(yàn)知識(shí)，可以提高深度學(xué)習(xí)的應(yīng)用水平。針對(duì)實(shí)時(shí)性應(yīng)用，采用級(jí)聯(lián)式的深度學(xué)習(xí)網(wǎng)絡(luò)可以進(jìn)一步提升數(shù)據(jù)分析的精度和效率。

雖然深度學(xué)習(xí)技術(shù)在諸多遙感應(yīng)用中取得了初步成效，但是也應(yīng)該清醒地看到在其未來(lái)研究中仍然需要解決以下難題。

● 有標(biāo)簽樣本相對(duì)稀缺與構(gòu)建盡可能深網(wǎng)絡(luò)的矛盾。遙感數(shù)據(jù)雖然從總量上看是大數(shù)據(jù)，但是對(duì)應(yīng)到具體數(shù)據(jù)、具體應(yīng)用，可采集的樣本量就相對(duì)較少。因此，考慮無(wú)監(jiān)督的訓(xùn)練方法以及可跨越數(shù)據(jù)類型的遷移學(xué)習(xí)方法可能會(huì)為此問題帶來(lái)解決方案。

● 多源數(shù)據(jù)的融合問題。多源融合已成為目前遙感大數(shù)據(jù)的發(fā)展趨勢(shì)之一。然而不同的數(shù)據(jù)類型其成像原理有很大差異，數(shù)據(jù)質(zhì)量、結(jié)構(gòu)差異明顯，如何構(gòu)建高效的深度學(xué)習(xí)模型，剔除各源數(shù)據(jù)的冗余信息，最大化信息互補(bǔ)也是深度模型在多源應(yīng)用中的研究難點(diǎn)。此外，利用在異源數(shù)據(jù)上訓(xùn)練好的深度模型快速構(gòu)建本源應(yīng)用，將會(huì)極大減少多源應(yīng)用的開發(fā)成本。

● 深度網(wǎng)絡(luò)在遙感數(shù)據(jù)上的強(qiáng)化學(xué)習(xí)能力。雖然深度學(xué)習(xí)有提高應(yīng)用效果的潛力，但是受限于遙感應(yīng)用中可供訓(xùn)練的樣本量以及不斷變化的應(yīng)用需求，需要研究具有不斷強(qiáng)化能力的深度學(xué)習(xí)模型。在具體應(yīng)用中可以只通過(guò)學(xué)習(xí)新添加的樣本而不斷提高模型的預(yù)測(cè)能力，并且能夠?qū)π乱腩愋湍繕?biāo)進(jìn)行強(qiáng)化學(xué)習(xí)，在較少影響以往預(yù)測(cè)能力的基礎(chǔ)上，具備解決新問題的能力。

圖13 級(jí)聯(lián)式CNN飛行器目標(biāo)識(shí)別結(jié)果展示2

[1] 李國(guó)慶, 鄔延輝.大數(shù)據(jù)時(shí)代的對(duì)地觀測(cè)科學(xué)研究[J].計(jì)算機(jī)學(xué)會(huì)通訊, 2013, 9(9): 27-31.LI G Q, WU Y H.Research on earth observation in age of big data[J].Communications of CCF, 2013, 9(9): 27-31.

[2] SUN H, SUN X, WANG H, et al.Automatic target detection in highresolution remote sensing images using spatial sparse coding bag-of-words model[J].IEEE Geoscience & Remote Sensing Letters, 2012, 9(1): 109-113.

[3] ZHANG W, SUN X, FU K, et al.Object detection in high-resolution remote sensing images using rotation invariant parts based model[J].IEEE Geoscience & Remote Sensing Letters, 2014, 11(1): 74-78.

[4] BAI X, ZHANG H, ZHOU J.VHR object detection based on structural feature extraction and query expansion[J].IEEE Transactions on Geoscience & Remote Sensing, 2014, 52(10): 6508-6520.

[5] CHEN X, XIANG S, LIU C L, et al.Aircraft detection by deep belief nets[C]// Iapr Asian Conference on Pattern Recognition, November 5-8, 2013, Okinawa, Japan.NewJersey: IEEE Press, 2013: 54-58.

[6] HAN J, ZHANG D, CHENG G, et al.Object detection in optical remote sensing images based on weakly supervised learning and high-level feature learning[J].IEEE Transactions on Geoscience & Remote Sensing, 2015, 53(6): 3325-3337.

[7] HU X, SHEN J, SHAN J, et al.Local edge distributions for detection of salient structure textures and objects[J].IEEE Geoscience & Remote Sensing Letters, 2013, 10(3): 466-470.

[8] DIAO W, SUN X, ZHENG X, et al.Efficient saliency-based object detection in remote sensing images using deep belief networks[J].IEEE Geoscience & Remote Sensing Letters, 2016, 13(2): 137-141.

[9] ZHOU P, CHENG G, LIU Z, et al.Weakly supervised target detection in remote sensing images based on transferred deep features and negative bootstrapping[J].Multidimensional Systems & Signal Processing, 2016, 27(4): 925-944.

[10] SUN X, WANG H, FU K.Automatic detection of geospatial objects using taxonomic semantics[J].IEEE Geoscience & Remote Sensing Letters, 2010, 7(1): 23-27.

[11] INGLADA J, MICHEL J.Qualitative spatial reasoning for high-resolution remote sensing image analysis[J].IEEE Transactions on Geoscience & Remote Sensing, 2009, 47(2): 599-612.

[12] SUN H, SUN X, WANG H, et al.Automatic target detection in highresolution remote sensing images using a contour-based spatial model[J].IEEE Geoscience & Remote Sensing Letters, 2012, 9(5): 886-890.

[13] LECUN Y, BOSER B, DENKER J S, et al.Backprop-agation applied to handwritten zip code recognition[J].Neural Computation, 1989, 1(4): 541-551.

[14] GIRSHICK R, DONAHUE J, DARRELL T, et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 23-28, 2014, Columbus, OH, USA.New Jersey: IEEE Press, 2014: 580-587.

[15] HE K, ZHANG X, REN S, et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 37(9): 1904-1916.

[16] GIRSHICK R.Fast R-CNN[C]//The IEEE International Conference on Computer Vision, December 7-13, 2015, Chile.New Jersey: IEEE Press, 2015: 1440-1448.

[17] REN S, HE K, GIRSHICK R, et al.Faster R-CNN: towards real-time object detection with region proposal networks[J].Computer Science, 2015(99): 1.

[18] UIJLINGS J R R, SANDE K, GEVERS T, et al.Selective search for object recognition[J].International Journal of Computer Vision, 2013, 104(2): 154-171.

[19] ZITNICK C L, DOLL R P.Edge boxes: locating object proposals from edges[M]//Computer Vision-ECCV 2014.Switzerland: Springer International Publishing, 2014: 391-405.

[20] CHENG M M, ZHANG Z, LIN W Y, et al.BING: binarized normed gradients for objectness estimation at 300fps[C]// IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA.New Jersey: IEEE Press, 2014: 3286-3293.

[21] REDMON J, DIVVALA S, GIRSHICK R, et al.You only look once: unified, realtime object detection[J].Computer Science, 2015: arXiv:1506.02640.

[22] LIU W, ANGUELOV D, ERHAN D, et al.S SD: si ngle shot multibox detector[J].Computer Science, 2015: arXiv:1512.02325.

[23] HINTON G E.Deep belief networks[J].Scholarpedia, 2009, 4(6): 804-786.

[24] YU Y, GUAN H, JI Z.Rotation-invariant object detection in high-resolution satellite imagery using superpixel-based deep hough forests[J].IEEE Geoscience & Remote Sensing Letters, 2015, 12(11): 1.

[25] KRIZ HEVSKY A, SUTSKEVER I, HINTON G E.Imagenet classification with deep convolutional neural networks[J].Advances in Neural Information Processing Systems, 2012, 25(2): 1-9.

[26] MCCALLUM.BOW: a toolkit for statistical language modeling, text retrieval, classification and clustering[J].Machine Learning, 1996（1）: 405-408.

[27] OGAWA S, HIRAO K, HONGU T, et al.Line segment detector: US, US 20020154121 A1[P].2002.

[28] ZHU D, WANG B, ZHANG L.Airport target detection in remote sensing images: a new method based on two-way saliency[J].IEEE Geoscience & Remote Sensing Letters, 2015, 12(5): 1096-1100.

[29] QU Y, LI C, ZHENG N.Airport detection base on support vector machine from a single image[C]// Fifth International Conference on Information, Communications and Signal Processing, December 6-9, 2005, Bangkok, Thailand.New Jersey: IEEE Press, 2005: 546-549.

Airport and flight recognition on optical remote sensing data by deep learning

NIU Xin, DOU Yong, ZHANG Peng, CAO Yushe
National Key Laboratory of Parallel and Distributed Processing (PDL), National University of Defense Technology, Changsha 410073, China

Airport and flight recognition are the typical remote sensing applications.For the big optical remote sensing data, deep learning techniques for airport and flight recognition have been studied.To this end, a seconds’ response airport and flight recognition system for optical remote sensing data was built.To obtain effective deep learning model with limited labeled samples, transfer learning approach has been employed.Prior knowledge has also been explored for efficient object proposal.To achieve real-time performance for such recognition with “l(fā)arge region and small targets”, a cascade framework of deep networks has been proposed.The results of experiments show that, by the proposed deep learning approaches, significant improvement on recognition accuracy could be achieved with seconds’ response.

optical remote sensing, object recognition, deep learning

TP183

A

10.11959/j.issn.2096-0271.2016054

牛新（1983-），男，博士，國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理重點(diǎn)實(shí)驗(yàn)室助理研究員，主要研究方向?yàn)橛?jì)算機(jī)系統(tǒng)結(jié)構(gòu)、遙感圖像處理、機(jī)器學(xué)習(xí)。

竇勇（1966-），男，博士，國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理重點(diǎn)實(shí)驗(yàn)室常務(wù)副主任、研究員、博士生導(dǎo)師，計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)學(xué)科方向?qū)W術(shù)帶頭人，擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)體系結(jié)構(gòu)專家委員會(huì)主任，是國(guó)家自然科學(xué)基金杰出青年基金獲得者，入選教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃。主要研究方向?yàn)橛?jì)算機(jī)系統(tǒng)結(jié)構(gòu)、并行計(jì)算、計(jì)算機(jī)應(yīng)用。

張鵬（1993-），男，國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理重點(diǎn)實(shí)驗(yàn)室碩士生，主要研究方向?yàn)橛?jì)算機(jī)系統(tǒng)結(jié)構(gòu)、遙感圖像處理、機(jī)器學(xué)習(xí)。

曹玉社（1990-），男，國(guó)防科學(xué)技術(shù)大學(xué)并行與分布處理重點(diǎn)實(shí)驗(yàn)室碩士生，主要研究方向?yàn)橛?jì)算機(jī)系統(tǒng)結(jié)構(gòu)、遙感圖像處理、機(jī)器學(xué)習(xí)。

2016-08-20

國(guó)家自然科學(xué)基金資助項(xiàng)目（No.U1435219, No.61402507）

Foundation Items: The National Natural Science Foundation of China （No.U1435219, No.61402507）