用于遷移學習的飛機遙感圖像數(shù)據(jù)集的建立*

史 通，王 潔，羅 暢，蔡啟航，王世強

（空軍工程大學防空反導學院，西安 710051）

0 引言

空天遙感（aerospace remote sensing）泛指以飛機、氣球等航空飛行器和人造衛(wèi)星、宇宙飛船等航天飛行器為平臺，通過各類傳感系統(tǒng)對遠距離目標定時、定位、定性、定量并進行數(shù)據(jù)通信的探測識別綜合技術(shù)。近年來，隨著衛(wèi)星、無人機等遙感平臺的迅猛發(fā)展以及傳感技術(shù)、通信技術(shù)的不斷改進，空天遙感技術(shù)也得到了極大的提高。遙感圖像數(shù)據(jù)已經(jīng)呈現(xiàn)出大量（volume）、高速（velocity）、多樣（vari-ety）、價值（value）的大數(shù)據(jù)典型的“4V”特點。

在當前空天遙感應(yīng)用領(lǐng)域中，遙感圖像目標識別是一項在軍用、民用方面都有著深遠理論意義和巨大應(yīng)用價值的研究課題。民用方面，文獻[1]利用從Quick Bird上獲取的光學遙感圖像，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）模型進行了棒球場、城市居民區(qū)、灌木叢、立交橋和停車場這5類城市目標的分類實驗。文獻[2]利用美國土地使用分類數(shù)據(jù)集UCM_LandUse，對農(nóng)田、建筑、河流等21類遙感目標進行分類，又利用武漢大學高分衛(wèi)星遙感圖像場景數(shù)據(jù)集HRSS，對工業(yè)區(qū)、商業(yè)區(qū)等19類城市目標進行分類，并對兩者進行了分類效果的比較。軍用方面，文獻[3]提出了基于支持向量機（SVM）的遙感圖像艦船目標識別方法，并同傳統(tǒng)分類器進行了實驗結(jié)果的對比分析，表明該方法具有良好的識別效果。文獻[4]著力于構(gòu)建了一個面向高分辨率光學遙感圖像的深度學習目標識別系統(tǒng)，以機場和飛行器目標識別為例，實現(xiàn)了復雜場景下“大范圍、小目標”的快速準確定位。

從現(xiàn)有的研究成果來看，粗識別（rough recognition）的理論研究相當成熟，也已經(jīng)在各個領(lǐng)域有了廣泛的應(yīng)用。但是，隨著不同場景實際應(yīng)用要求的不斷提高，對同一大類里的不同目標進行細分類（fine recognition）的需求也越來越迫切，所以更加細致的識別方法亟待研究。

本文就以不同種類飛機的細分類研究為目的，以民用客機、直升機、初級教練機、戰(zhàn)斗機、運輸機和轟炸機這6類飛機為代表，注重于建立各類飛機的光學遙感圖像數(shù)據(jù)集，為日后飛機目標識別的研究工作做好準備。對不同種類飛機的細分類研究，在軍事應(yīng)用領(lǐng)域具有重要的意義，在戰(zhàn)略目標偵察監(jiān)視，裝備戰(zhàn)斗力綜合評估和空軍基地功能判定等方面都能發(fā)揮顯著的作用。

1 遷移學習

遙感圖像目標識別的方法有很多，除了前文提到的支持向量機、卷積神經(jīng)網(wǎng)絡(luò)這些方法外，還有小波包變換[5]、數(shù)據(jù)融合[6]、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)[7-8]等方法。但是，卷積神經(jīng)網(wǎng)絡(luò)因為其局部連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之權(quán)值數(shù)量減少，自學習模型復雜度降低，成為目前研究最廣也是效果最好的一種方法。

卷積神經(jīng)網(wǎng)絡(luò)自20世紀60年代發(fā)展至今，已經(jīng)在圖像識別、語音識別、大數(shù)據(jù)分析等領(lǐng)域都取得了突出的成就。誕生于1994年的LeNet-5[8]是最早的也是最經(jīng)典的CNN模型，堪稱卷積神經(jīng)網(wǎng)絡(luò)的奠基之作，直接推動了深度學習的迅速發(fā)展。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。近年來，在ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）的盛會中，越來越多更加優(yōu)秀的CNN模型被提出，比如2012年冠軍AlexNet（8層神經(jīng)網(wǎng)絡(luò)），2014年亞軍VGGNet（19層神經(jīng)網(wǎng)絡(luò)），2015年冠軍ResNet（152層神經(jīng)網(wǎng)絡(luò)）等，在圖像識別等諸多領(lǐng)域不斷刷新著準確率記錄。

圖1 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)

要知道，這樣一個優(yōu)秀的CNN模型往往是依靠規(guī)模巨大的有標記數(shù)據(jù)集訓練出來的，而這些數(shù)據(jù)集的建立是經(jīng)過團隊多年精心收集樣本完成的，是一項人力、物力資源耗費極大的工作。在實際應(yīng)用中，由于應(yīng)用場景不同，識別任務(wù)不同，很少有合適的大規(guī)模的公開數(shù)據(jù)集能夠滿足訓練出有針對性的網(wǎng)絡(luò)模型的需求。

盡管如此，以上優(yōu)秀模型的訓練數(shù)據(jù)集一般都基于自然場景圖像。本文研究的主要是飛機的光學遙感圖像，它與自然場景圖像的成像原理相似，待識別目標的邊線、形狀、顏色等基本圖像特征相近。那么，就可以借用這些基于大量自然場景圖像樣本訓練好的CNN模型，用相對少量的特定場景數(shù)據(jù)集對網(wǎng)絡(luò)進行微調(diào)訓練，從而構(gòu)建出適用于光學遙感圖像飛機目標識別的CNN模型。這就是遷移學習（transfer learning）[9]在卷積神經(jīng)網(wǎng)絡(luò)方向的一大應(yīng)用，可以把它形象地稱為“站在巨人的肩膀上”。

對于本文來說，通過采集相對少量的上述6類飛機的光學遙感圖像，經(jīng)過一定的預處理，再對數(shù)據(jù)進行存儲與標記，建立起飛機遙感圖像數(shù)據(jù)集，作為CNN遷移源模型的微調(diào)訓練集，為日后遙感圖像飛機目標識別系統(tǒng)的搭建打下堅實的基礎(chǔ)。

2 數(shù)據(jù)集的建立

之所以選擇民用客機、直升機、初級教練機、戰(zhàn)斗機、運輸機和轟炸機這6類飛機制作對應(yīng)的有標記數(shù)據(jù)集，是因為這6類飛機的特征具有類間區(qū)別大、類內(nèi)差異小的特點。也就是說，這6類飛機相互之間容易區(qū)分，而且雖然每一類都還可以繼續(xù)細分出不同機型，但是這些不同機型之間的形狀差異比較小，對分類效果的影響可以忽略。這樣在圖像采集過程中，就不會受限于某一特定機型樣本圖像少的問題，拓寬了某一類飛機樣本圖像采集的廣度，極大地降低了采集難度。圖2展示了戰(zhàn)斗機類內(nèi)差異小的特點。

圖2 不同戰(zhàn)斗機型對比

2.1 圖像采集

在互聯(lián)網(wǎng)上，有很多比較專業(yè)的遙感影像庫可供有償下載，但是大多數(shù)針對性不強。而且本文想要采集圖像的各類飛機中還涉及到一些軍用飛機，基本上沒有符合要求的現(xiàn)成的商業(yè)遙感影像庫。同時，本數(shù)據(jù)集規(guī)模較小，為了提高數(shù)據(jù)集的質(zhì)量，決定通過谷歌地球（Google Earth）采集各類飛機的遙感圖像。

由于卷積神經(jīng)網(wǎng)絡(luò)具有泛化能力強的優(yōu)點，圖像采集的難度被進一步降低，只需要做到飛機輪廓清晰、整體結(jié)構(gòu)完整、以正方形裁剪，采集過程不必受限于角度、尺度、像素等因素。而且光照、濃霧、背景等干擾因素都可以不必在乎，這些因素反而還會增強神經(jīng)網(wǎng)絡(luò)模糊學習的能力。采集到的6類飛機的遙感圖像示例如圖3所示。

圖3 6類飛機的遙感圖像

2.2 圖像預處理

雖說用于遷移學習的訓練樣本是少量的，但是這種少量是相對于CNN遷移源模型百萬數(shù)量級的訓練樣本來說的，所以至少應(yīng)該達到千數(shù)量級。以上種種方法雖然相對降低了飛機圖像的采集難度，但是這項工作仍然非常耗時耗力，比如采集到的初級教練機的樣本圖像只有250張，這是遠遠不夠的。

而數(shù)據(jù)增強（data augmentation）就能夠很好地解決這一問題。對少量的飛機樣本圖像進行適當?shù)男D(zhuǎn)變換、鏡像變換、亮度變換或?qū)Ρ榷茸儞Q，不僅能夠大大增加樣本圖像的數(shù)量，還可以模擬飛機的多種變化情況，增強網(wǎng)絡(luò)的學習能力。為了簡化后續(xù)操作，在圖像變換之前，需要對原始樣本圖像進行歸一化處理，將圖像的尺寸歸一化為100*100像素。然后進行4種旋轉(zhuǎn)變換、4種鏡像變換，那么樣本圖像將擴充4*4=16倍。以單張圖像為例，預處理的操作步驟如圖4所示。上述操作都可以通過圖像批處理的方法實現(xiàn)，那么初級教練機原始的250張樣本圖像將擴充到4 000張，其樣本圖像示例如圖5所示。其他種類飛機的遙感圖像的數(shù)據(jù)增強同理。

圖4 圖像預處理的步驟

圖5 數(shù)據(jù)增強后的初級教練機圖像

3 結(jié)論

至此，用于遷移學習的飛機遙感圖像數(shù)據(jù)集的建立工作已全部完成。本數(shù)據(jù)集是基于特定的應(yīng)用場景建立的，針對性強，質(zhì)量較高。但是也存在有待加強的方面，比如，樣本類別不夠細化，圖像采集不夠智能等問題。

下一步的任務(wù)就是對CNN遷移源模型進行適當?shù)膮?shù)修改，再利用此數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)，使該模型更加適用于遙感圖像飛機目標識別這一特定應(yīng)用場景，以期搭建出能夠應(yīng)用于軍事領(lǐng)域的遙感圖像飛機目標識別系統(tǒng)。這對于把握軍事先機、分析軍事態(tài)勢、制定軍事策略從而贏得戰(zhàn)爭勝利是非常有利的。