基于深度卷積神經(jīng)網(wǎng)絡(luò)的飛機(jī)識(shí)別研究

唐小佩, 楊小岡, 劉云峰, 任世杰

(1.火箭軍工程大學(xué)，西安 710025； 2.火箭軍駐成都地區(qū)軍事代表室，成都 610036)

0 引言

近年來(lái)計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)發(fā)展迅猛，其中圖像識(shí)別技術(shù)成為研究的熱點(diǎn)課題，廣泛應(yīng)用于社會(huì)管理、商業(yè)交易、軍事任務(wù)等領(lǐng)域。尤其在軍事上，戰(zhàn)場(chǎng)態(tài)勢(shì)瞬息萬(wàn)變，迅速精準(zhǔn)識(shí)別敵方目標(biāo)在現(xiàn)代戰(zhàn)爭(zhēng)中是決定勝敗的關(guān)鍵，因此，大力發(fā)展圖像識(shí)別技術(shù)成為未來(lái)部隊(duì)?wèi)?zhàn)斗力生成的關(guān)鍵環(huán)節(jié)。遙感圖像飛機(jī)目標(biāo)識(shí)別作為圖像識(shí)別在軍事領(lǐng)域的典型運(yùn)用，對(duì)于信息化戰(zhàn)爭(zhēng)中偵察敵方軍力部署，有效打擊飛機(jī)目標(biāo)具有重要意義。

近年來(lái)，研究人員針對(duì)機(jī)場(chǎng)飛機(jī)目標(biāo)的識(shí)別問(wèn)題進(jìn)行了廣泛而深入的研究，取得了一些成果。文獻(xiàn)[1]采用優(yōu)化組合不變矩識(shí)別飛機(jī)目標(biāo)，運(yùn)用支持向量機(jī)(Support Vector Machine,SVM)完成識(shí)別飛機(jī)的任務(wù)，該方法可以克服采用單一特征無(wú)法有效充分描述目標(biāo)的缺陷，但是特征融合困難，抗噪性能較差；文獻(xiàn)[2]提出了一種基于尺度不變特征和奇異值分解算法融合的紅外飛機(jī)目標(biāo)識(shí)別方法，該方法得到的尺度不變特征和奇異值具有對(duì)光照、位置和旋轉(zhuǎn)較好的不變性,但實(shí)時(shí)性差，無(wú)法保證較高識(shí)別率；文獻(xiàn)[3]給出了以視覺(jué)對(duì)稱性以及顯著性兩項(xiàng)檢測(cè)為基礎(chǔ)的飛機(jī)識(shí)別算法，能夠快速準(zhǔn)確識(shí)別遙感圖像飛機(jī)目標(biāo)，但由于一些干擾物如車(chē)輛也具有對(duì)稱性，所以存在一定的誤差；文獻(xiàn)[4]提出了一種由粗到精的策略，在粗匹配階段使用圖像的邊緣信息獲取備選目標(biāo)，精匹配階段利用形狀特征完成對(duì)候選目標(biāo)的匹配，雖說(shuō)能夠有效識(shí)別出遙感圖像中的目標(biāo)飛機(jī)，但由于此算法的識(shí)別精度由先驗(yàn)?zāi)繕?biāo)的形狀分割及姿態(tài)數(shù)據(jù)決定，魯棒性較差。

深度學(xué)習(xí)技術(shù)是近幾年的熱點(diǎn)話題，在學(xué)術(shù)界和工業(yè)界都產(chǎn)生了巨大影響。通過(guò)構(gòu)建與人腦類(lèi)似的多層模型結(jié)構(gòu)，對(duì)獲取的數(shù)據(jù)逐層提取特征，能夠較好地形成從底層信號(hào)至高層語(yǔ)義的對(duì)應(yīng)關(guān)系，具備極強(qiáng)的從少量樣本中總結(jié)數(shù)據(jù)集本質(zhì)特征的能力[5]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)作為在圖像處理領(lǐng)域常用的深度學(xué)習(xí)架構(gòu)，目前已經(jīng)成功應(yīng)用于手寫(xiě)字體識(shí)別、醫(yī)學(xué)圖像分割、人臉識(shí)別等方面，充分證明了CNN提取圖像原始特征的強(qiáng)大性能和良好效果[6]。

本文正是基于CNN強(qiáng)大的圖像特征提取能力，并針對(duì)飛機(jī)停機(jī)位置存在陰影的問(wèn)題,結(jié)合Canny算子獲取飛機(jī)邊緣輪廓特征的思路，最后經(jīng)SVM分類(lèi)器實(shí)現(xiàn)飛機(jī)目標(biāo)識(shí)別。與傳統(tǒng)的飛機(jī)識(shí)別方法相比，具有以下優(yōu)點(diǎn)：

1) 無(wú)需進(jìn)行繁雜的預(yù)處理和人工設(shè)置卷積核，過(guò)程更加簡(jiǎn)單；

2) 對(duì)于圖像旋轉(zhuǎn)、縮放、扭曲具有良好魯棒性；

3) 針對(duì)飛機(jī)特征提取結(jié)果，強(qiáng)化了圖像的邊緣輪廓特征，得到了原始圖像的最優(yōu)特征。

1 飛機(jī)圖像的特征提取

特征提取環(huán)節(jié)是圖像識(shí)別過(guò)程中最為關(guān)鍵的環(huán)節(jié)，本環(huán)節(jié)對(duì)識(shí)別的準(zhǔn)確性起著決定作用。好的特征具有以下3個(gè)特性[7]。

1) 能區(qū)分。不同類(lèi)型飛機(jī)目標(biāo)的特征有顯著差異。

2) 不變性。相同類(lèi)型的飛機(jī)目標(biāo)特征類(lèi)似，無(wú)顯著變化。

3) 魯棒性。具有良好的抗圖像旋轉(zhuǎn)、縮放、扭曲的特性。

1.1 深度卷積神經(jīng)網(wǎng)絡(luò)特征提取

圖1所示為本文所用的CNN結(jié)構(gòu)，其提取特征過(guò)程包括逐層建立網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練以及提取特征3個(gè)主要階段。

圖1 深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Deep convolutional neural network structure

構(gòu)建網(wǎng)絡(luò)：7層網(wǎng)絡(luò)結(jié)構(gòu)，輸入層I1是像素大小為200×200的圖像；C2為卷積層，包含6張像素大小為196×196的特征圖像，經(jīng)由輸入圖像與6個(gè)像素大小為5×5的卷積核以及偏置項(xiàng)bi卷積而得到；S3為降采樣層，通過(guò)對(duì)輸入圖片像素大小為2×2范圍之內(nèi)的4個(gè)數(shù)實(shí)施加權(quán)平均，隨后經(jīng)由sigmoid激活函數(shù)獲取得到6張像素大小為98×98的特征圖像，以便縮減圖像冗余，有效處理數(shù)據(jù)；C4為卷積層，卷積之后得到8張像素大小為94×94的特征圖像。對(duì)其進(jìn)行降采樣處理即可得到S5，8張像素大小為47×47的圖像；F6為全連接層，它把上一層所得到的特征圖像組合成列向量，即為特征向量，隨后再用BP算法完成參數(shù)調(diào)整并最終獲得結(jié)果O7。

下面分別為卷積層和降采樣層的算式[6]。

假設(shè)第l層為卷積層，第l+1層為降采樣層，卷積層算式為

(1)

降采樣層算式為

(2)

描述池化層l第j個(gè)神經(jīng)元降采樣后的輸出。式中：w為連接權(quán)重;down()為降采樣函數(shù);b為加性偏置;f為激活函數(shù)。常見(jiàn)操作通常為針對(duì)圖像輸入的多種n×n塊內(nèi)全部像素求和,如此一來(lái)，圖像輸出都能夠變小n倍。

CNN的訓(xùn)練過(guò)程如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程Fig.2 Training process of convolutional neural network

CNN的訓(xùn)練過(guò)程主要包含下述兩個(gè)階段。

1) 正向傳播階段。將訓(xùn)練數(shù)據(jù)經(jīng)輸入層傳入隱藏層，經(jīng)過(guò)處理后再傳到輸出層，最后由輸出層輸出結(jié)果。

2) 反向傳播階段。求解正向傳播結(jié)果與正確結(jié)果之差，用最小化誤差方法反向傳播誤差，前一層各神經(jīng)元根據(jù)誤差對(duì)權(quán)重進(jìn)行更新。

通過(guò)卷積實(shí)現(xiàn)特征提取，已有大量實(shí)驗(yàn)驗(yàn)證了通過(guò)CNN能夠有效獲取原始圖像特征。但是傳統(tǒng)的CNN只用了最后輸出層的特征，實(shí)際上卷積中獲取的特征圖像同樣能夠全面描述原始圖像。本文正是利用了這些特征，提高了特征的表現(xiàn)力，圖3所示為利用CNN提取特征的過(guò)程。CNN訓(xùn)練結(jié)束之后，將卷積過(guò)程中所得圖像的全部特征有效提取出并獲得特征向量，最后經(jīng)SVM進(jìn)行識(shí)別。

圖3 深度卷積神經(jīng)網(wǎng)絡(luò)特征提取過(guò)程Fig.3 Feature extraction process of deep convolutional neural network

1.2 Canny邊緣輪廓特征提取

Canny算子[8]是一種一階微分算子，有很多優(yōu)化后的新形式[9-10]，不過(guò)傳統(tǒng)算法是對(duì)像素大小為2×2的鄰域范圍中求解有限差分繼而得到梯度幅值。Canny算子算法實(shí)現(xiàn)的方式如下所述。

1) 首先使用2D高斯濾波模板完成圖像卷積過(guò)程，去除其中可能存在的噪聲。

2) 對(duì)圖像進(jìn)行濾波處理之后所獲結(jié)果的各像素，分別求解梯度方向及大小。求得能夠使用像素大小為2×2的模板，作為對(duì)x,y兩個(gè)不同方向的一階偏微分近似值，即

(3)

(4)

由此得到梯度的大小M和方向θ分別為

(5)

(6)

基于梯度方向，能夠獲取與此方向相鄰的像素為

3210x0123

3) 針對(duì)所獲梯度幅值實(shí)施極大值抑制處理。如果某個(gè)像素的灰度值不都大于其梯度方向上前后兩個(gè)像素的灰度值，那么將該像素置為0，即不是邊緣點(diǎn)。幅值陣列M越大，則其圖像梯度值必定越高，不過(guò)僅憑此仍然無(wú)法確知邊緣，還需要對(duì)屋脊帶進(jìn)行細(xì)化，才能夠獲得細(xì)化邊緣。

4) 閾值化和邊緣連接。對(duì)已經(jīng)完成非極大值抑制處理所獲幅值實(shí)施雙閾值化，去除其中偽邊緣。

圖4所示為Canny算子的處理流程。

圖4 Canny算子處理流程Fig.4 Processing flow of Canny operator

機(jī)場(chǎng)飛機(jī)遙感圖像多數(shù)是在有充分光線情況下獲取的，所以目標(biāo)飛機(jī)可能因?yàn)楣庹战嵌炔煌谂c此目標(biāo)連接的特定位置區(qū)域出現(xiàn)陰影,如圖5所示。

圖5 機(jī)場(chǎng)飛機(jī)遙感圖像Fig.5 Remote sensing image of aircraft at the airport

分析機(jī)場(chǎng)獲得的大量遙感圖像后，發(fā)現(xiàn)在目標(biāo)和陰影間存在的過(guò)渡區(qū)域中特征灰度有顯著躍升特點(diǎn)。運(yùn)用Matlab內(nèi)嵌的improfile函數(shù)對(duì)遙感圖像進(jìn)行掃描,重點(diǎn)獲取其中飛機(jī)目標(biāo)，得到圖6的灰度分布曲線圖。

由于陰影區(qū)域內(nèi)部的灰度分布有下述趨勢(shì)，也就是與目標(biāo)較近的區(qū)域通常有較低灰度值，而與其較遠(yuǎn)的區(qū)域則通常有較高灰度值，AB間灰度值較低的區(qū)域即為陰影區(qū)域，其中，A距離目標(biāo)更遠(yuǎn),因此灰度值更高，B距離目標(biāo)更近,因此灰度值更低，C即為與此陰影鄰接區(qū)域的像素，該點(diǎn)灰度值與兩側(cè)相比高出許多。據(jù)此特征可知，設(shè)定這個(gè)陰影內(nèi)有最小灰度值點(diǎn)為參照點(diǎn)，譬如在N×N區(qū)域內(nèi)檢索獲取灰度值出現(xiàn)躍變的點(diǎn),即灰度值超過(guò)A點(diǎn)的位置。如未搜索到，則擴(kuò)大模版繼續(xù)搜尋，直至找到滿足條件的點(diǎn)如C點(diǎn)，將此C點(diǎn)界定為種子點(diǎn),用區(qū)域生長(zhǎng)辦法對(duì)圖像進(jìn)行分割處理。區(qū)域生長(zhǎng)理論中核心內(nèi)容是把性質(zhì)類(lèi)似的像素連通形成特定區(qū)域，本算法實(shí)施過(guò)程分4步概述如下。

圖6 陰影區(qū)域灰度分布Fig.6 Gray distribution of shadow area

1) 設(shè)定種子點(diǎn)。將C點(diǎn)即陰影區(qū)域灰度值發(fā)生躍變的點(diǎn)設(shè)為種子點(diǎn)。

2) 以一定規(guī)則搜索相鄰區(qū)域。本文基于目標(biāo)灰度值分布具有相似性的規(guī)則搜索相鄰區(qū)域，灰度值同種子點(diǎn)灰度值低于閾值T，T=10。

3) 生長(zhǎng)。運(yùn)用種子點(diǎn)的貫通及鄰接兩個(gè)特性，根據(jù)相似性規(guī)則進(jìn)行生長(zhǎng)。

4) 終止策略。當(dāng)不再有像素滿足加入該區(qū)域的生長(zhǎng)規(guī)則時(shí)，區(qū)域停止生長(zhǎng)。用前述生長(zhǎng)技術(shù)進(jìn)行分割獲得目標(biāo)，然后進(jìn)行形態(tài)學(xué)處理，腐蝕圖像后再對(duì)其進(jìn)行膨脹處理，就能夠得到連通性較好的目標(biāo)區(qū)域。圖7即為圖5所示飛機(jī)目標(biāo)的分割過(guò)程。

獲得飛機(jī)輪廓邊緣以后,以主成分分析(Principal Component Analysis,PCA)方法獲得主軸方向上邊緣輪廓上兩點(diǎn)之間連線，假設(shè)把主軸平均分割出k+1份，從等分點(diǎn)出發(fā)與主軸垂直的方向引出直線與輪廓相交，逐個(gè)求取交點(diǎn)間歐氏距離，并形成一維向量L=[d1,d2,d3,…,dk]，即為飛機(jī)目標(biāo)的特征向量。

圖7 遙感圖像目標(biāo)分割Fig.7 Object segmentation of remote sensing image

2 實(shí)驗(yàn)部分

2.1 整體框架

總結(jié)本文提出的飛機(jī)識(shí)別方法，形成如圖8所示的飛機(jī)識(shí)別系統(tǒng)。

圖8 飛機(jī)識(shí)別系統(tǒng)Fig.8 Aircraft recognition system

訓(xùn)練階段：首先，把訓(xùn)練樣本輸入CNN得到預(yù)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)，再進(jìn)行樣本特征的提取；其次，將得到的特征進(jìn)行歸一化，PCA降維；最后，結(jié)合所獲標(biāo)簽及特征，對(duì)SVM分類(lèi)器進(jìn)行訓(xùn)練。

測(cè)試階段：將測(cè)試樣本輸入已經(jīng)訓(xùn)練好的CNN，提取特征并進(jìn)行歸一化以及降維等處理，再經(jīng)訓(xùn)練階段得到的SVM分類(lèi)器獲取結(jié)果。

2.2 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文所使用遙感圖像數(shù)據(jù)來(lái)自于谷歌地球軟件，為了提高實(shí)驗(yàn)的準(zhǔn)確性和可靠性，人為提取并且標(biāo)記其中戰(zhàn)斗機(jī)、轟炸機(jī)和客機(jī)的圖像，定義為訓(xùn)練以及后續(xù)測(cè)試所用樣本，樣本中600張用于訓(xùn)練，285張用于測(cè)試，而且全部圖像的分辨率像素大小均至少為200×200，部分圖像如圖9所示。

圖9 部分機(jī)場(chǎng)遙感圖像樣本Fig.9 Part of the airport remote sensing image samples

實(shí)驗(yàn)通過(guò)Matlab R2014a軟件完成，Windows7操作系統(tǒng)，Intel Core i7-4790K CPU，主頻4.00 GHz，內(nèi)存容量16 GB，使用LIBSVM工具箱和RBF核函數(shù)，而懲罰系數(shù)C以及Gamma參數(shù)通過(guò)網(wǎng)格尋優(yōu)獲取。

2.3 實(shí)驗(yàn)結(jié)果及分析

首先將數(shù)據(jù)集中所有彩色圖像進(jìn)行灰度化，考慮到篇幅限制，只給出卷積過(guò)程中部分特征圖像,如圖10所示。

圖10 深度卷積神經(jīng)網(wǎng)絡(luò)部分特征圖像Fig.10 Part of the feature images of CNN

表1主要提供了不同特征對(duì)應(yīng)的識(shí)別率，表2主要提供了實(shí)驗(yàn)過(guò)程中所用的部分特征參數(shù)，其中，A為邊緣輪廓特征，B為深度卷積神經(jīng)網(wǎng)絡(luò)提取特征。對(duì)表1進(jìn)行分析可知，如果單獨(dú)使用B深度卷積神經(jīng)網(wǎng)絡(luò)提取的特征，準(zhǔn)確率為93.33%；而使用A邊緣輪廓特征的準(zhǔn)確率為88.07%；如果同時(shí)使用A和B，則識(shí)別飛機(jī)正確率能夠達(dá)到94.39%。因?yàn)轭?lèi)型不同的多個(gè)飛機(jī)，機(jī)型必有差別，運(yùn)用Canny能夠有效獲取各類(lèi)飛機(jī)邊緣輪廓的特征，因此能夠把不同類(lèi)型的飛機(jī)區(qū)分開(kāi)。結(jié)合上述提取特征的兩種辦法，即可得到深度特征，因此能夠更加有效地識(shí)別飛機(jī)目標(biāo)。

表1 不同特征的識(shí)別率比較

表2 特征參數(shù)

3 結(jié)束語(yǔ)

本文建立了一個(gè)7層CNN結(jié)構(gòu)對(duì)機(jī)場(chǎng)遙感圖像進(jìn)行訓(xùn)練，運(yùn)用CNN提取飛機(jī)目標(biāo)的深度特征，針對(duì)飛機(jī)停機(jī)位置存在陰影的問(wèn)題,利用Canny算子獲得準(zhǔn)確邊緣特征，再使用SVM分類(lèi)器識(shí)別不同類(lèi)型飛機(jī)。由于單一特征描述存在局限，不能全面展現(xiàn)圖像所有特征，本研究將兩個(gè)有效特征結(jié)合，使得飛機(jī)識(shí)別的正確率提高至94.39%。當(dāng)然本研究仍有很多不足需要改進(jìn)，譬如怎樣挑選核函數(shù)，怎樣完成參數(shù)設(shè)定等仍待進(jìn)一步研究。

參 考 文 獻(xiàn)

[1] ZHU X F,MA C W.The study of combined invariants optimization method on aircraft recognition[C]//Symposium on Photonics and Optoelectronics,2011:1-4.

[2] 李萍，張波，尚怡君.基于紅外圖像和特征融合的飛機(jī)目標(biāo)識(shí)別方法[J].電光與控制,2016,23(8):92-96.

[3] LI W,XIANG S M,WANG H B,et al.Robust airplanes detection in satellite images[C]//The 8th IEEE International Conference on Image Processing,2011:2821-2824.

[4] LIU G,SUN X,FU K,et al.Aircraft recognition in high-resolution satellite images using coarse-to-fine shape prior[J].IEEE Geoscience and Remote Sensing Letters, 2013, 10(3):573-577.

[5] JI Z,LIU Q,NIE L H,et al.Texture classification with convolutional neural network[J].Journal of Frontiers of Computer Science & Technology,2016,10(3):389-397．

[6] 鄧柳.基于深度深度卷積神經(jīng)網(wǎng)絡(luò)的車(chē)型識(shí)別[D].成都:西南交通大學(xué),2015.

[7] 曹婷.一種基于改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別方法研究[D].長(zhǎng)沙：湖南大學(xué),2016.

[8] CANNY J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[9] LO T Y,SIM K S,TSO C P,et al.Improvement to the scanning electron microscope image adaptive Canny optimization colorization by pseudo-mapping[J].Scanning, 2014,35(6):530-539.

[10] 馮珂，朱敏，鐘煜，等.一種改進(jìn)的Canny邊緣檢測(cè)AGT算法[J].計(jì)算機(jī)應(yīng)用與軟件,2012,29(3):265-266,300.